TinyLlama 项目是一项开放的努力,旨在基于 3 万亿个 tokens 训练一个紧凑的 11 亿参数的 Llama 模型。

11 亿

130 万 14 个月前

自述文件

TinyLlama 是一个仅有 11 亿参数的紧凑模型。 这种紧凑性使其能够满足多种需要限制计算和内存占用的应用。

参考

Hugging Face

GitHub