llama3-gradient

该模型将 LLama-3 8B 的上下文长度从 8k 扩展到 > 1040K，由 Gradient 开发，由 Crusoe Energy 提供计算资源支持。它表明，通过适当调整 RoPE theta，SOTA LLM 可以学会在长上下文上进行操作，而无需进行大量训练。我们在此阶段对 8.3 亿个令牌进行了训练，所有阶段的总训练令牌为 14 亿个，这不到 Llama-3 原版预训练数据的 0.01%。

大型上下文窗口

注意：使用 256k 上下文窗口至少需要 64GB 内存。使用 1M+ 上下文窗口需要更大的内存（100GB+）。

要扩展上下文窗口（例如，扩展到 256k），请使用

_API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

_CLI

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

参考资料

网站

Hugging Face