自述文件
Orca Mini 是一个基于 Llama 和 Llama 2 的模型,它在使用论文《Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习》中定义的方法创建的 Orca 风格数据集上进行训练。有两种变体可用。基于 Llama 的原始 Orca Mini,参数量分别为 30 亿、70 亿和 130 亿,以及基于 Llama 2 的 v3,参数量分别为 70 亿、130 亿和 700 亿。
用法
CLI
打开终端并运行 ollama run orca-mini
API
示例
curl -X POST https://127.0.0.1:11434/api/generate -d '{
"model": "orca-mini",
"prompt":"Why is the sky blue?"
}'
内存需求
- 7b 模型通常至少需要 8GB 的 RAM
- 13b 模型通常至少需要 16GB 的 RAM
- 70b 模型通常至少需要 64GB 的 RAM
参考
3b 参数的原始来源:Pankaj Mathur
7b 参数的原始来源:Pankaj Mathur
13b 参数的原始来源:Pankaj Mathur
Ollama 上的 Orca Mini v3 源代码
13b 参数的原始来源:Pankaj Mathur
70b 参数的来源:Pankaj Mathur