mannix / phi3-mini-cpo-simpo

Phi-3-mini-4K-instruct 配合 CPO-SimPO

3B

25 Pulls 更新于6周前

6 周前

20f273a9eec3 · 2.2GB

模型
phi3
·
3.82B
·
Q4_0
许可证
Microsoft. 版权所有 (c) Microsoft Corporation. MIT 许可证 凡获得此软件和相关文档副本（“软件”）的任何个人均可免费使用该软件，不受任何限制，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本的权利，并允许将软件提供给他人，以便他人可以如此使用，前提是满足以下条件：上述版权声明和本许可声明应包含在所有副本或软件的大部分副本中。软件按原样提供，不提供任何明确或暗示的保证，包括但不限于适销性、适用于特定目的和不为侵权行为提供担保。在任何情况下，作者或版权持有者不对因合同、侵权或其他任何原因产生的索赔、损害或其他责任承担责任，这些索赔、损害或其他责任可能是由于软件本身、软件的使用或与软件有关或其他任何方式产生的。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|> {{ .System }}<|end|> {{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}<|end|> {{ end }}<|assistant|> {{ .Response }}<|end|>

自述文件

Phi-3-mini-4K-instruct 配合 CPO-SimPO

  • 使用 i-matrix calibration_datav3.txt 量化的结果
  • 转换为 fp32 的 Safetensors

该存储库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比偏好优化（CPO）和简单偏好优化（SimPO）。

简介

Phi-3-mini-4K-instruct 是一个针对基于指令的任务进行优化的模型。这种方法在关键基准上证明了显著的改进，推动了 AI 偏好学习的前沿。

什么是 CPO-SimPO？

CPO-SimPO 是一项新技术，它结合了 CPO 和 SimPO 的元素。

  • 对比偏好优化（CPO）：增加行为克隆正则化器以确保模型接近首选数据分布。
  • 简单偏好优化（SimPO）：结合长度归一化和目标奖励边界，防止生成长而低质量的序列。

Github

CPO-SIMPO

模型性能

即将推出！

关键改进

  • 增强模型性能：显著提升了分数，尤其是在GSM8K（提升8.49分！）和TruthfulQA（提升2.07分）上。
  • 质量控制：通过长度归一化和奖励边界改进了高质量序列的生成。
  • 平衡优化：BC正则化器有助于在不偏离首选数据分布的情况下保持已学习偏好的完整性。