一个通用模型,参数范围从 30 亿到 700 亿,适用于入门级硬件。

3b 7b 13b 70b

24.1 万 13 个月前

自述文件

Orca Mini 是一个基于 Llama 和 Llama 2 的模型,使用 Orca 风格的数据集进行训练,该数据集是根据论文《Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习》中定义的方法创建的。有两个版本可用。最初的 Orca Mini 基于 Llama,有 30 亿、70 亿和 130 亿个参数大小,v3 基于 Llama 2,有 70 亿、130 亿和 700 亿个参数大小。

用法

命令行

打开终端并运行 ollama run orca-mini

API

示例

  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存要求

  • 7b 模型通常至少需要 8GB 内存
  • 13b 模型通常至少需要 16GB 内存
  • 70b 模型通常至少需要 64GB 内存

参考

3b 参数原始来源: Pankaj Mathur

7b 参数原始来源: Pankaj Mathur

13b 参数原始来源: Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

13b 参数原始来源: Pankaj Mathur

70b 参数来源: Pankaj Mathur

Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习