TinyLlama 项目是一个开放的项目,旨在训练一个基于 3 万亿 token 的紧凑型 1.1B Llama 模型。

1.1b

525.6K 11 个月前

自述文件

TinyLlama 是一个紧凑的模型,只有 1.1B 个参数。这种紧凑性使其能够满足许多需要限制计算和内存占用量的应用程序。

参考

Hugging Face

GitHub