TinyLlama 项目是一个开放的计划,旨在基于 3 万亿 tokens 训练一个紧凑的 1.1B Llama 模型。

1.1b

1.3M 13 个月前

简介

TinyLlama 是一个参数仅有 11 亿的紧凑模型。这种紧凑性使其能够满足多种需要有限计算和内存的应用。

参考

Hugging Face

GitHub