qwen2

Qwen2 是阿里巴巴集团新推出的大型语言模型系列

工具 0.5b 1.5b 7b 72b

4.1M 4 个月前

97 个标签

自述文件

Qwen2 使用 29 种语言的数据进行训练，包括英语和中文。

它提供 4 种参数尺寸：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文长度已扩展至 128k tokens。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
参数量 0.49B 1.54B 7.07B 72.71B
非嵌入参数量 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
绑定嵌入 是 是 否 否
上下文长度 32K 32K 128K 128K

支持的语言

除了英语和中文之外，还支持以下语言

地区 语言
西欧 德语、法语、西班牙语、葡萄牙语、意大利语、荷兰语
东欧 & 中欧 俄语、捷克语、波兰语
中东 阿拉伯语、波斯语、希伯来语、土耳其语
东亚 日语、韩语
东南亚 越南语、泰语、印尼语、马来语、老挝语、缅甸语、宿务语、高棉语、他加禄语
南亚 印地语、孟加拉语、乌尔都语

性能

image.png

image.png

image.png

image.png

许可证

除 Qwen2 72B（instruct 和 base 模型）以外的所有模型均已获得 Apache 2.0 许可。

Qwen2 72B 模型仍使用原始的 Qianwen 许可证。