qwen2

Qwen2 是阿里巴巴集团推出的一系列新的大型语言模型。

工具 0.5b 1.5b 7b 72b

3.9M 8 周前

97 个标签

自述文件

Qwen2 使用 29 种语言 的数据进行训练，包括 英语和中文。

它有 4 种参数大小：0.5B、1.5B、7B、72B。

在 7B 和 72B 模型中，上下文长度已扩展至 128k 个标记。

模型 Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B
参数 0.49B 1.54B 7.07B 72.71B
非嵌入参数 0.35B 1.31B 5.98B 70.21B
GQA 是 是 是 是
绑定嵌入 是 是 否 否
上下文长度 32K 32K 128K 128K

支持的语言

除了英语和中文之外

地区 语言
西欧 德语、法语、西班牙语、葡萄牙语、意大利语、荷兰语
东欧和中欧 俄语、捷克语、波兰语
中东 阿拉伯语、波斯语、希伯来语、土耳其语
东亚 日语、韩语
东南亚 越南语、泰语、印尼语、马来语、老挝语、缅甸语、宿务语、高棉语、他加禄语
南亚 印地语、孟加拉语、乌尔都语

性能

image.png

image.png

image.png

image.png

许可证

除 Qwen2 72B（指令模型和基础模型）外，所有模型均采用 Apache 2.0 许可证。

Qwen2 72B 模型仍使用原始的 Qianwen 许可证。