TinyLlama 项目是一个开源项目,致力于训练一个在 3 万亿 token 上训练的紧凑型 11 亿参数 Llama 模型。

11亿

52.56万 11个月前

自述文件

TinyLlama是一个紧凑型模型,只有11亿个参数。这种紧凑性使其能够满足许多需要限制计算和内存占用量的应用。

参考文献

Hugging Face

GitHub