Qwen2 是阿里巴巴集团推出的一系列新的大型语言模型。

工具 0.5b 1.5b 7b 72b

3.9M 8 周前

自述文件

Qwen2 是在29 种语言(包括英语和中文)的数据上训练的。

它有 4 种参数大小可供选择:0.5B1.5B7B72B

在 7B 和 72B 模型中,上下文长度已扩展至128k 个词元

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
参数 0.49B 1.54B 7.07B 72.71B
非嵌入参数 0.35B 1.31B 5.98B 70.21B
GQA
绑定嵌入
上下文长度 32K 32K 128K 128K

支持的语言

除了英语和中文之外,还支持以下语言:

地区 语言
西欧 德语、法语、西班牙语、葡萄牙语、意大利语、荷兰语
东欧和中欧 俄语、捷克语、波兰语
中东 阿拉伯语、波斯语、希伯来语、土耳其语
东亚 日语、韩语
东南亚 越南语、泰语、印尼语、马来语、老挝语、缅甸语、宿务语、高棉语、他加禄语
南亚 印地语、孟加拉语、乌尔都语

性能

image.png

image.png

image.png

image.png

许可证

除了 Qwen2 72B(包括指令模型和基础模型)之外的所有模型都采用 Apache 2.0 许可证。

Qwen2 72B 模型仍然使用原始的 Qianwen 许可证。