TinyLlama 项目是一个开放的尝试,旨在训练一个紧凑的 11 亿参数 Llama 模型,使用 3 万亿个 tokens。

1.1b

130 万 14 个月前

Readme

TinyLlama 是一个紧凑的模型,只有 11 亿个参数。这种紧凑性使其能够满足对计算和内存占用有严格要求的各种应用。

参考文献

Hugging Face

GitHub