更新于 13 个月前
13 个月前
f184c0860491 · 39GB
model
架构llama
·
参数69B
·
量化Q4_0
39GB
params
{ "num_gqa": 8, "stop": [ "### System:", "### User:", "### Assistant
65B
system
你是一个人工智能助手,可以很好地遵循指令。尽可能提供帮助。
89B
template
{{- if .System }} ### System: {{ .System }} {{- end }} ### User: {{ .Prompt }} ### Assistant:
96B
自述文件
Orca Mini 是一个基于 Llama 和 Llama 2 的模型,使用 Orca 风格的数据集进行训练,该数据集是根据论文《Orca:从 GPT-4 的复杂解释轨迹中进行渐进式学习》中定义的方法创建的。有两个版本可用。最初的 Orca Mini 基于 Llama,有 30 亿、70 亿和 130 亿个参数大小,v3 基于 Llama 2,有 70 亿、130 亿和 700 亿个参数大小。
用法
命令行
打开终端并运行 ollama run orca-mini
API
示例
curl -X POST https://127.0.0.1:11434/api/generate -d '{
"model": "orca-mini",
"prompt":"Why is the sky blue?"
}'
内存要求
- 7b 模型通常至少需要 8GB 内存
- 13b 模型通常至少需要 16GB 内存
- 70b 模型通常至少需要 64GB 内存
参考
3b 参数原始来源: Pankaj Mathur
7b 参数原始来源: Pankaj Mathur
13b 参数原始来源: Pankaj Mathur
Ollama 上的 Orca Mini v3 来源
13b 参数原始来源: Pankaj Mathur
70b 参数来源: Pankaj Mathur