Qwen2 是阿里巴巴集团新推出的大型语言模型系列

工具 0.5b 1.5b 7b 72b

4.1M 4个月前

自述文件

Qwen2 使用 29 种语言的数据进行训练,包括英语和中文

它有 4 种参数尺寸可供选择:0.5B1.5B7B72B

在 7B 和 72B 模型中,上下文长度已扩展到 128k tokens

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
参数 0.49B 1.54B 7.07B 72.71B
非嵌入参数 0.35B 1.31B 5.98B 70.21B
GQA
绑定嵌入
上下文长度 32K 32K 128K 128K

支持的语言

除了英语和中文之外

地区 语言
西欧 German, French, Spanish, Portuguese, Italian, Dutch
东欧和中欧 Russian, Czech, Polish
中东 Arabic, Persian, Hebrew, Turkish
东亚 Japanese, Korean
东南亚 Vietnamese, Thai, Indonesian, Malay, Lao, Burmese, Cebuano, Khmer, Tagalog
南亚 Hindi, Bengali, Urdu

性能

image.png

image.png

image.png

image.png

许可证

除 Qwen2 72B(包括 instruct 和 base 模型)之外的所有模型均采用 Apache 2.0 许可。

Qwen2 72B 模型仍然使用原始的 Qianwen 许可证。