Stable LM 2 是一款先进的语言模型,拥有 16 亿和 120 亿参数,其训练数据包含英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语等多种语言。

16亿 120亿

99.8K 7个月前

自述文件

Stable LM 2 1.6B 是一款先进的 16 亿和 120 亿参数小型语言模型,其训练数据包含英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语等多种语言。

该模型的训练数据混合使用了公开数据集和合成数据集,并使用了直接偏好优化 (DPO) 方法。

参考文献

公告

Hugging Face