TinyLlama 项目是一项开放性的工作,目标是在 3 万亿个词元上训练一个 11 亿参数的紧凑型 Llama 模型。

1.1b

525.4K 11 个月前

自述文件

TinyLlama 是一个只有 11 亿参数的紧凑模型。这种紧凑性使其能够满足需要有限计算和内存占用的多种应用的需求。

参考

Hugging Face

GitHub