qwen2

Qwen2 是阿里巴巴集团新推出的大型语言模型系列

tools 0.5b 1.5b 7b 72b

4.1M 4 months ago

97 Tags

Readme

Qwen2 使用 29 种语言的数据进行训练，包括英语和中文。

它提供 4 种参数尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文长度已扩展至 128k tokens。

Models Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
Params 0.49B 1.54B 7.07B 72.71B
Non-Emb Params 0.35B 1.31B 5.98B 70.21B
GQA True True True True
Tie Embedding True True False False
Context Length 32K 32K 128K 128K

Supported languages

这是英语和中文之外的其他语言

Regions Languages
Western Europe German, French, Spanish, Portuguese, Italian, Dutch
Eastern & Central Europe Russian, Czech, Polish
Middle East Arabic, Persian, Hebrew, Turkish
Eastern Asia Japanese, Korean
South-Eastern Asia Vietnamese, Thai, Indonesian, Malay, Lao, Burmese, Cebuano, Khmer, Tagalog
Southern Asia Hindi, Bengali, Urdu

Performance

image.png

image.png

image.png

image.png

License

除 Qwen2 72B（instruct 和 base 模型）之外的所有模型均已获得 Apache 2.0 许可。

Qwen2 72B 模型仍然使用原始的 Qianwen 许可证。