TinyLlama 项目是一个开放的努力,旨在在 3 万亿个 tokens 上训练一个紧凑的 1.1B Llama 模型。

1.1b

1.3M 14 个月前

自述文件

TinyLlama 是一个只有 1.1B 参数的紧凑模型。这种紧凑性使其能够满足多种需要限制计算和内存占用空间的应用。

参考资料

Hugging Face

GitHub