Sailor2 是专为东南亚打造的多语言模型。提供 1B、8B 和 20B 三种参数规模。

1b 8b 20b

461 2 天前

自述文件

logo

Sailor2 是一项社区驱动的计划,旨在将尖端的多语言模型引入东南亚(SEA)。我们的研究强调了对生产使用的 **8B 和 20B** 参数范围模型以及用于专门应用(例如推测解码和研究目的)的 **1B 模型** 的强烈需求。这些模型在 **Apache 2.0 许可** 下发布,为该地区的高级语言技术提供了更广泛的访问途径。

Sailor2 建立在出色的多语言模型 Qwen 2.5 的基础上,并在 500B 令牌上持续进行预训练,以使用统一模型更好地支持 15 种语言。这些语言包括英语、中文、缅甸语、宿务语、伊洛卡诺语、印度尼西亚语、爪哇语、高棉语、老挝语、马来语、巽他语、他加禄语、泰语、越南语和瓦瑞语。通过满足对多样化、强大和易于访问的语言模型日益增长的需求,Sailor2 寻求通过开放、包容和易于访问的多语言 LLM 为东南亚地区服务欠缺的地区提供服务。Sailor2 模型有三种大小,分别为 1B、8B 和 20B,它们分别从 Qwen2.5 的 0.5B、7B 和 14B 基础模型扩展而来。