TinyLlama 项目是一个开源项目,旨在训练一个紧凑的 1.1B Llama 模型,该模型在 3 万亿个词元上进行训练。

1.1b

275.2K 10 个月前

自述文件

TinyLlama 是一个紧凑的模型,只有 1.1B 个参数。这种紧凑性使其能够满足各种需要限制计算和内存占用的应用需求。

参考资料

Hugging Face

GitHub