此模型将 LLama-3 8B 的上下文长度从 8k 扩展到 > 1040K，由 Gradient 开发，由 Crusoe Energy 的计算资源赞助。 它表明，SOTA LLM 可以通过适当地调整 RoPE theta，通过最少的训练来学习在长上下文中操作。 我们在本阶段训练了 8.3 亿个 tokens，所有阶段总共训练了 14 亿个 tokens，这 < 0.01% Llama-3 的原始预训练数据。

大型上下文窗口

注意：使用 256k 的上下文窗口需要至少 64GB 的内存。 使用 1M+ 的上下文窗口需要更多内存（100GB+）。

要扩展上下文窗口（例如到 256k），请使用

_API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

_CLI

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

参考

网站

Hugging Face