Qwen 1.5是由阿里云推出的一系列大型语言模型,参数量从0.5B到110B不等。
0.5b 1.8b 4b 7b 14b 32b 72b 110b
410万 次下载 更新于 7个月前
10个月前更新
10个月前
35babf7c6752 · 7.7GB
模型
架构qwen
·
参数142亿
·
量化Q3_K_M
7.7GB
许可证
通义千问许可协议 通义千问发布日期:2023年8月3日 点击同意
6.9kB
自述文件
Qwen 2现已推出,点击此处。
Qwen是由阿里云推出的一系列基于Transformer的大型语言模型,在大规模数据(包括网页文本、书籍、代码等)上进行预训练。
Qwen 1.5新增功能
- 6种模型尺寸,包括0.5B、1.8B、4B(默认)、7B、14B、32B(新增)和72B。
ollama run qwen:0.5b
ollama run qwen:1.8b
ollama run qwen:4b
ollama run qwen:7b
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b
- 显著提升了人类对聊天模型的偏好。
- 支持基础模型和聊天模型的多语言。
- 稳定支持所有尺寸模型的32K上下文长度。
原始Qwen模型提供四种不同的参数大小:1.8B、7B、14B和72B。
功能
低成本部署:推理所需的最小内存小于2GB。
大规模高质量训练语料库:模型在超过2.2万亿个token上进行预训练,包括中文、英文、多语言文本、代码和数学,涵盖通用和专业领域。预训练语料库的分布已通过大量的消融实验进行了优化。
良好的性能:Qwen支持长上下文长度(1.8b、7b和14b参数模型为8K,72b参数模型为32K),在多个中文和英文下游评估任务(包括常识、推理、代码、数学等)上显著优于同等规模的现有开源模型,甚至在一些基准测试中超越了一些更大规模的模型。
更全面的词汇覆盖:与基于中文和英文词汇的其它开源模型相比,Qwen使用超过15万个token的词汇表。该词汇表对多种语言更友好,使用户无需扩展词汇表即可直接进一步增强某些语言的能力。
系统提示:Qwen可以通过使用系统提示来实现角色扮演、语言风格转换、任务设置和行为设置。