TinyLlama 项目是一个开放的尝试,旨在训练一个在 3 万亿 tokens 上训练的紧凑型 1.1B Llama 模型。

1.1b

1.3M 13 months ago

自述文件

TinyLlama 是一个紧凑的模型,仅有 1.1B 参数。这种紧凑性使其能够满足对计算和内存 footprint 有限制的多种应用。

参考

Hugging Face

GitHub