mannix / wizardlm2

微软AI创新的大型语言模型，在复杂聊天、多语言、推理和代理应用中使用性能提升。更多量化。

7B

43个拖拽 更新于4个月前

4个月前

371aa0cc1a4d · 2.0GB

模型
llama
·
7.24B
·
IQ2_XXS
系统
用户与人工智能助手的对话。助手向用户提出有用的、详细的和礼貌的回答。
参数
{"num_ctx":4096,"stop":["USER:","ASSISTANT:"]}
模板
{{ if .System }}{{ .System }} {{ end }}{{ if .Prompt }}USER: {{ .Prompt }} {{ end }}ASSISTANT: {{ .Response }}

README

WizardLM-2是一款新一代的顶尖大型语言模型，在复杂的聊天、多语言、推理和代理用例上性能得到提升。该系列包括三个尖端模型

  • wizardlm2:7b：最快的模型，性能与10倍更大的开源模型相当。所有量化均使用i矩阵。
  • wizardlm2:8x22b：最先进的模型，在微软内部对高度复杂的任务的评估中是最佳的公开源代码LLM。目前不使用i矩阵。

这些是从官方fp16模型中额外的量化
(wizardlm2)[https://ollama.org.cn/library/wizardlm2]