Microsoft AI开发的状态艺术级大型语言模型，在复杂聊天、多语言、推理和代理用例上性能提升。更多量化。

7B

2 标签

4个月前

59c096c63c6e · 2.2GB

模型
llama
·
7.24B
·
IQ2_XS
系统
用户和人工智能助手之间的对话。助手针对用户的问题给出有帮助、详细、礼貌的回答。
参数
{"num_ctx":4096,"stop":["USER:","ASSISTANT:"]}
模板
{{ if .System }}{{ .System }} {{ end }}{{ if .Prompt }}USER: {{ .Prompt }} {{ end }}ASSISTANT: {{ .Response }}

说明

WizardLM-2 是一个下一代最先进的大型语言模型，它在复杂聊天、多语言、推理和代理用例上的性能得到了提升。这个系列包括三个尖端模型

  • wizardlm2:7b：最快的模型，与10倍更大的开源模型具有可比的性能。所有量化均使用i矩阵进行。
  • wizardlm2:8x22b：最先进的模型，是微软在高复杂任务内部评估中最好的开源LLM。目前不使用i矩阵。

这些是从官方fp16模型衍生的额外量化
(wizardlm2)[https://ollama.org.cn/library/wizardlm2]