TinyLlama 项目是一项开放计划,旨在用 3 万亿个 token 训练一个紧凑的 11 亿参数的 Llama 模型。

11 亿

130 万 14 个月前

说明

TinyLlama 是一个只有 11 亿参数的紧凑模型。 这种紧凑性使其能够满足需要限制计算和内存占用的大量应用程序。

参考

Hugging Face

GitHub