自述文件
Qwen2 是使用 **29 种语言** 的数据进行训练的，包括 **英语和中文**。
它有 4 种参数大小可供选择： **0.5B**、**1.5B**、**7B**、**72B**。
在 7B 和 72B 模型中，上下文长度已扩展到 **128k 个令牌**。
| 模型 | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-72B |
|---|---|---|---|---|
| 参数 | 0.49B | 1.54B | 7.07B | 72.71B |
| 非嵌入参数 | 0.35B | 1.31B | 5.98B | 70.21B |
| GQA | True | True | True | True |
| 绑定嵌入 | True | True | False | False |
| 上下文长度 | 32K | 32K | 128K | 128K |
支持的语言
除了英语和中文之外，还有
| 地区 | 语言 |
|---|---|
| 西欧 | 德语、法语、西班牙语、葡萄牙语、意大利语、荷兰语 |
| 东欧和中欧 | 俄语、捷克语、波兰语 |
| 中东 | 阿拉伯语、波斯语、希伯来语、土耳其语 |
| 东亚 | 日语、韩语 |
| 东南亚 | 越南语、泰语、印度尼西亚语、马来语、老挝语、缅甸语、宿务语、高棉语、他加禄语 |
| 南亚 | 印地语、孟加拉语、乌尔都语 |
性能
许可证
除了 Qwen2 72B（指令和基础模型）之外的所有模型都采用 Apache 2.0 许可证。
Qwen2 72B 模型仍然使用原始的 Qianwen 许可证。