Stable LM 2 是一款先进的 1.6B 和 12B 参数语言模型,使用多种语言数据进行训练,包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。

1.6b 12b

105.1K 9 个月前

自述文件

Stable LM 2 1.6B 是一款先进的 1.6 和 120 亿参数的小型语言模型,使用多种语言数据进行训练,包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。

该模型使用公开可用的数据集和合成数据集混合进行训练,并采用直接偏好优化 (DPO)。

参考

公告

HuggingFace