一款通用模型,参数量从30亿到700亿不等,适合入门级硬件。

30亿 70亿 130亿 700亿

230.5K 12个月前

自述文件

Orca Mini 是一个 Llama 和 Llama 2 模型,它在使用论文中定义的方法创建的 Orca 风格数据集上进行训练,该论文名为 Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习。 有两种变体可用。最初的 Orca Mini 基于 Llama,参数大小为 30 亿、70 亿和 130 亿,而 v3 基于 Llama 2,参数大小为 70 亿、130 亿和 700 亿。

使用

CLI

打开终端并运行 ollama run orca-mini

API

示例

  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存需求

  • 70 亿参数模型通常至少需要 8GB 内存
  • 130 亿参数模型通常至少需要 16GB 内存
  • 700 亿参数模型通常至少需要 64GB 内存

参考资料

30 亿参数原始来源:Pankaj Mathur

70 亿参数原始来源:Pankaj Mathur

130 亿参数原始来源:Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

130 亿参数原始来源:Pankaj Mathur

700 亿参数来源:Pankaj Mathur

Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习