该模型由Gradient开发，由Crusoe Energy提供计算资源支持，它将LLama-3 8B的上下文长度从8k扩展到超过1040K。它证明了通过适当调整RoPE theta，最先进的LLM可以在少量训练的情况下学习处理长上下文。我们在这个阶段训练了8.3亿个token，所有阶段共训练了14亿个token，这不到Llama-3原始预训练数据的0.01%。

大型上下文窗口

注意：使用256k上下文窗口至少需要64GB内存。使用1M+上下文窗口需要更多内存(100GB+)。

要扩展上下文窗口（例如到256k），请使用

_API

curl https://127.0.0.1:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

_{命令行界面 (CLI)}

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

参考资料

网站

Hugging Face