此模型将LLama-3 8B的上下文长度从8k扩展到 > 1040K，由Gradient开发，由Crusoe Energy的计算资源赞助。它证明了SOTA LLM可以通过适当调整RoPE theta，以最小的训练量学习操作长上下文。我们在此阶段训练了8.3亿个token，所有阶段总共训练了14亿个token，这 < 0.01% 的Llama-3原始预训练数据。

大上下文窗口

注意：使用256k上下文窗口需要至少64GB的内存。使用1M+上下文窗口需要更多（100GB+）。

要扩展上下文窗口（例如扩展到 256k），请使用

_API

curl https://#:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

_CLI

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

参考

网站

Hugging Face