Qwen 1.5 是阿里云推出的一系列大型语言模型,参数量从 0.5B 到 110B 不等。
0.5b 1.8b 4b 7b 14b 32b 72b 110b
410万 次克隆 更新于 7个月前
8个月前更新
8个月前
1d103fa3fd6e · 14GB
模型
架构qwen2
·
参数325亿
·
量化Q3_K_S
14GB
许可证
通义千问许可协议 通义千问发布日期:2023年8月3日 点击同意
6.9kB
自述文件
Qwen 2 现已推出,点击此处。
Qwen是由阿里云推出的一系列基于Transformer的大型语言模型,在海量数据上进行预训练,包括网页文本、书籍、代码等。
Qwen 1.5 新特性
- 6个模型尺寸,包括0.5B、1.8B、4B(默认)、7B、14B、32B(新增)和72B。
ollama run qwen:0.5b
ollama run qwen:1.8b
ollama run qwen:4b
ollama run qwen:7b
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b
- 聊天模型在人类偏好方面性能显著提升。
- 支持基础模型和聊天模型的多语言。
- 稳定支持所有尺寸模型的32K上下文长度。
原始Qwen模型提供四种不同的参数大小:1.8B、7B、14B和72B。
特性
低成本部署:推理所需的最小内存小于2GB。
大规模高质量训练语料库:模型在超过2.2万亿个token上进行预训练,包括中文、英文、多语言文本、代码和数学,涵盖通用和专业领域。预训练语料库的分布已通过大量的消融实验进行了优化。
良好的性能:Qwen支持较长的上下文长度(1.8b、7b和14b参数模型为8K,72b参数模型为32K),在多个中文和英文下游评估任务(包括常识、推理、代码、数学等)上显著超越同规模的现有开源模型,甚至在一些基准测试中超越一些更大规模的模型。
更全面的词汇覆盖率:与基于中文和英文词汇的其他开源模型相比,Qwen使用超过15万个token的词汇表。该词汇表对多种语言更友好,使用户无需扩展词汇表即可直接进一步增强某些语言的能力。
系统提示:Qwen可以通过使用系统提示来实现角色扮演、语言风格转换、任务设置和行为设置。