TinyLlama 项目是一个开放的努力,旨在训练一个紧凑的 1.1B Llama 模型,使用 3 万亿 tokens 数据集。

1.1b

1.3M 14 个月前

自述文件

TinyLlama 是一个紧凑的模型,只有 1.1B 参数。 这种紧凑性使其能够满足需要受限计算和内存占用的大量应用。

参考文献

Hugging Face

GitHub