Phi-3-mini-4K-instruct with CPO-SimPO

3B

25 拉取 更新于 6 周前

读我文件

Phi-3-mini-4K-instruct with CPO-SimPO

  • 使用 calibration_datav3.txt 的 i 矩阵量化
  • 转换为 fp32 的 Saftensors

此仓库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比偏好优化(CPO)和简单偏好优化(SimPO)。

简介

Phi-3-mini-4K-instruct 是一个针对基于指令的任务进行优化的模型。这种方法在关键基准测试中展示了显著改进,推动了 AI 偏好学习的前沿。

什么是 CPO-SimPO?

CPO-SimPO 是一项新技术,它结合了来自 CPO 和 SimPO 的元素。

  • 对比偏好优化(CPO):添加行为克隆正则化器以确保模型靠近首选数据分布。
  • 简单偏好优化(SimPO):通过长度归一化和目标奖励边界来防止生成长但质量低的序列。

GitHub

CPO-SIMPO

模型性能

即将推出!

主要改进

  • 增强模型性能:显著提高得分,尤其在 GSM8K(提高了8.49分!)和 TruthfulQA(提高了2.07分)方面。
  • 质量控制:通过长度归一化和奖励边界改进了高质量序列的生成。
  • 平衡优化:BC正则化器有助于维持学习到的偏好的一致性,同时不偏离首选数据分布。