一个通用的模型,参数量从30亿到700亿,适合入门级硬件。

3b 7b 13b 70b

230.5K 12个月前

自述文件

Orca Mini 是一个在 Orca 风格数据集上训练的 Llama 和 Llama 2 模型,这些数据集是使用论文 "Orca: Progressive Learning from Complex Explanation Traces of GPT-4" 中定义的方法创建的。有两种变体可用。基于 Llama 的原始 Orca Mini,参数大小为 30 亿、70 亿和 130 亿;以及基于 Llama 2 的 v3 版本,参数大小为 70 亿、130 亿和 700 亿。

使用

CLI

打开终端并运行 ollama run orca-mini

API

示例

  curl -X POST https://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存需求

  • 7b 模型通常需要至少 8GB 的 RAM
  • 13b 模型通常需要至少 16GB 的 RAM
  • 70b 模型通常需要至少 64GB 的 RAM

参考

3b 参数的原始来源: Pankaj Mathur

7b 参数的原始来源: Pankaj Mathur

13b 参数的原始来源: Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

13b 参数的原始来源: Pankaj Mathur

70b 参数的来源: Pankaj Mathur

Orca: Progressive Learning from Complex Explanation Traces of GPT-4