TinyLlama 项目是一个开放的项目,旨在训练一个基于 3 万亿 tokens 的紧凑型 11 亿参数 Llama 模型。

11亿

52.56万 11个月前

自述文件

TinyLlama 是一款紧凑型模型,仅具有 11 亿个参数。这种紧凑性使其能够满足对计算和内存占用要求严格的多种应用。

参考

Hugging Face

GitHub