mannix / phi3-mini-cpo-simpo

Phi-3-mini-4K指令与CPO-SimPO

3B

25 Pulls 更新于6周前

6周前

63e498f1fe45 · 2.2GB

模型
phi3
·
3.82B
·
Q4_K_S
许可证
Microsoft. 版权所有 © 微软公司。MIT 许可证 本许可协议授予任何人免费获得此软件及其相关文档副本（以下简称“软件”）的权利，以无限制地使用软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件的副本，并允许获得软件的任何人执行上述操作，条件如下：上述版权声明和本许可协议应包含在软件的所有副本或主要部分中。软件按照“原样”提供，不提供任何明示或暗示的保证，包括但不限于适销性、针对特定目的的适用性和非侵权性。在任何情况下，作者或版权所有者均不对任何索赔、损害或其他责任承担任何责任，无论该责任基于合同、侵权或其他侵权行为，也不论该责任是基于软件或软件的使用或与其相关的其他活动，或基于任何其他原因。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|> {{ .System }}<|end|> {{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}<|end|> {{ end }}<|assistant|> {{ .Response }}<|end|>

自述文件

Phi-3-mini-4K指令与CPO-SimPO

  • 使用 i-matrix calibration_datav3.txt 的量化
  • 转换为 fp32 的 Sauftensors

此仓库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比偏好优化 (CPO) 和简单偏好优化 (SimPO)。

简介

Phi-3-mini-4K-instruct 是一种针对指令任务进行优化的模型。这种方法在关键基准测试中表现出显著的改进，推动了 AI 偏好学习的前沿。

CPO-SimPO 是什么？

CPO-SimPO 是一种新技术，它结合了 CPO 和 SimPO 的元素。

  • 对比偏好优化（CPO）: 添加行为克隆正则化器，以确保模型始终接近偏好数据分布。
  • 简单偏好优化（SimPO）: 集成长度归一化和目标奖励边界，防止生成长但质量低下的序列。

Github

CPO-SIMPO

模型性能

即将推出！

关键改进

  • 增强模型性能: 显著的分数提升，尤其是在 GSM8K（提升8.49分！）和 TruthfulQA（提升2.07分）方面。
  • 质量控制: 通过长度归一化和奖励边界改进了高质量序列的生成。
  • 平衡优化: BC 正则化器有助于维护学习到的偏好的完整性，同时不偏离偏好数据分布。