Dolphin 2.9 是一个基于 Llama 3 的新模型,由 Eric Hartford 开发,拥有 8B 和 70B 两种尺寸,并具备多种指令、对话和编码能力。

8b 70b

235.8K 6 个月前

自述文件

🐬 Dolphin 2.9 Llama 3

Dolphin-2.9 具有多种指令、对话和编码能力。它还拥有初始代理能力并支持函数调用。

Dolphin 是一个 无审查 的模型。数据集经过过滤以去除对齐和偏差,使模型更符合要求。

由 Eric Hartford、Lucas Atkins 和 Fernando Fernandes 以及 Cognitive Computations 策划和训练。

尺寸

  • dolphin-llama3:8b
  • dolphin-llama3:70b

256K 上下文窗口

注意:使用 256k 上下文窗口需要至少 64GB 的内存。

Dolphin Llama 3 还有一个 256k 上下文窗口版本。要扩展上下文窗口,请使用

API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "dolphin-llama3:8b-256k",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

CLI

ollama run dolphin-llama3:8b-256k
>>> /set parameter num_ctx 256000

参考资料

HuggingFace