更新于 8个月前
8个月前
9c8a530d0bd7 · 34GB
模型
架构qwen2
·
参数72.7B
·
量化Q3_K_S
34GB
许可证
通义千问 许可协议 通义千问 发布日期:2023年8月3日 点击同意即表示您同意
6.9kB
自述文件
Qwen2 使用 29 种语言的数据进行训练,包括英语和中文。
它有 4 种参数尺寸可供选择:0.5B、1.5B、7B、72B。
在 7B 和 72B 模型中,上下文长度已扩展到 128k tokens。
模型 | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-72B |
---|---|---|---|---|
参数 | 0.49B | 1.54B | 7.07B | 72.71B |
非嵌入参数 | 0.35B | 1.31B | 5.98B | 70.21B |
GQA | 是 | 是 | 是 | 是 |
绑定嵌入 | 是 | 是 | 否 | 否 |
上下文长度 | 32K | 32K | 128K | 128K |
支持的语言
除了英语和中文之外
地区 | 语言 |
---|---|
西欧 | German, French, Spanish, Portuguese, Italian, Dutch |
东欧和中欧 | Russian, Czech, Polish |
中东 | Arabic, Persian, Hebrew, Turkish |
东亚 | Japanese, Korean |
东南亚 | Vietnamese, Thai, Indonesian, Malay, Lao, Burmese, Cebuano, Khmer, Tagalog |
南亚 | Hindi, Bengali, Urdu |
性能
许可证
除 Qwen2 72B(包括 instruct 和 base 模型)之外的所有模型均采用 Apache 2.0 许可。
Qwen2 72B 模型仍然使用原始的 Qianwen 许可证。