Sailor2是为东南亚地区打造的多语言语言模型。提供10亿、80亿和200亿参数规模的模型。

10亿 80亿 200亿

462 两天前

自述文件

logo

Sailor2是一个社区驱动的项目,旨在将最先进的多语言语言模型引入东南亚(SEA)。我们的研究表明,在生产环境中对**80亿和200亿**参数规模的模型有很强的需求,同时**10亿参数规模的模型**也适用于专业应用,例如推测解码和研究目的。这些模型在**Apache 2.0许可证**下发布,提高了该地区对先进语言技术的可访问性。

Sailor2基于强大的多语言模型Qwen 2.5,并持续在5000亿个token上进行预训练,以更好地支持15种语言的统一模型。这些语言包括英语、汉语、缅甸语、宿务语、伊洛卡诺语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、塔加拉语、泰语、越南语和瓦拉伊语。通过满足对多样化、强大和易访问的语言模型日益增长的需求,Sailor2旨在为东南亚地区服务不足的地区提供开放、包容和易访问的多语言大型语言模型。Sailor2模型有三种尺寸:10亿、80亿和200亿参数,分别基于Qwen2.5的0.5亿、70亿和140亿参数的基准模型进行扩展。