更新于 6 个月前
6 个月前
786019279b07 · 4.0GB
模型
架构llama
·
参数8.03B
·
量化Q3_K_M
4.0GB
参数
{"num_keep":24,"stop":["\u003c|start_header_id|\u003e","\u003c|end_header_id|\u003e","\u003c|eot_id|
110B
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .P
254B
许可证
META LLAMA 3 COMMUNITY LICENSE AGREEMENT Meta Llama 3 Version Release Date: April 18, 2024 “Agree
12kB
自述文件
该模型将LLama-3 8B的上下文长度从8k扩展到超过1040K，由Gradient开发，由Crusoe Energy提供计算资源赞助。它表明，通过适当地调整RoPE theta，SOTA LLM可以学习在长上下文中运行，并且只需进行最少的训练。我们在此阶段训练了8.3亿个token，在所有阶段总共训练了14亿个token，这不到LLama-3原始预训练数据的0.01%。
大型上下文窗口
注意：使用256k的上下文窗口至少需要64GB的内存。使用1M+的上下文窗口需要更多内存（100GB+）。
要扩展上下文窗口（例如扩展到256k），请使用
API
curl https://127.0.0.1:11434/api/generate -d '{
"model": "llama3-gradient",
"prompt": "Why is the sky blue?",
"options": {
"num_ctx": 256000
}
}'
CLI
ollama run llama3-gradient
>>> /set parameter num_ctx 256000