wizardlm

基于Llama 2的通用模型。

75.8K 16 个月前

73 个标签

Readme

WizardLM 是一个基于 Llama 2，由 WizardLM 训练的 70B 参数模型。

开始使用 WizardLM

以下示例中使用的模型是 WizardLM 模型，具有 70b 参数，这是一个通用模型。

API

  1. 启动 Ollama 服务器（运行 ollama serve）
  2. 运行模型
curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "wizardlm:70b-llama2-q4_0",
  "prompt":"Why is the sky blue?"
 }'

CLI

  1. 安装 Ollama
  2. 打开终端并运行 ollama run wizardlm:70b-llama2-q4_0

注意：如果模型尚未下载，则 ollama run 命令会执行 ollama pull。 要下载模型而不运行它，请使用 ollama pull wizardlm:70b-llama2-q4_0

内存要求

  • 70b 模型通常需要至少 64GB 的 RAM

如果遇到更高的量化级别的问题，请尝试使用 q4 模型或关闭任何其他占用大量内存的程序。

模型变体

默认情况下，Ollama 使用 4 位量化。 要尝试其他量化级别，请尝试其他标签。 q 后面的数字表示用于量化的位数（即 q4 表示 4 位量化）。 数字越高，模型越准确，但运行速度越慢，需要的内存也越多。

模型来源

Ollama 上的 WizardLM 来源

70b 参数来源: The Bloke

70b 参数原始来源: WizardLM