mannix / phi3-mini-cpo-simpo

Phi-3-mini-4K-与 CPO-SimPO 指令配合

3B

25 Pulls 更新于6周前

6周前

bc0890d68619 · 2.6GB

模型
phi3
·
3.82B
·
Q5_K_S
许可证
Microsoft. 版权（c）微软公司。MIT 许可证 本许可证授予任何获得此软件和相关文档副本（“软件”）的人免费使用软件的权利，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或出售软件副本，并允许将软件提供给他人以执行上述操作，前提是：在软件的所有副本或主要部分中应包括上述版权声明和本许可证声明。软件按原样提供，不做任何明示或暗示保证，包括但不限于适销性、适用于特定目的和无侵犯性的保证。在任何情况下，作者或版权持有者不对任何索赔、损害或其他责任（无论基于合同、侵权或其他法律理论）承担责任，这些责任源自、源于或与软件或其使用或其他操作有关。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|> {{ .System }}<|end|> {{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}<|end|> {{ end }}<|assistant|> {{ .Response }}<|end|>

读取说明

Phi-3-mini-4K-与 CPO-SimPO 指令配合

  • 使用i-matrix的calibration_datav3.txt进行的量化
  • Saftensors转换为fp32

此存储库包含Phi-3-mini-4K-instruct模型，增强了CPO-SimPO技术。CPO-SimPO结合了对比偏好优化（CPO）和简单偏好优化（SimPO）。

简介

Phi-3-mini-4K-instruct 是一种针对指令任务优化的模型。这种方法在关键基准测试中表现出显著改进，推动了人工智能偏好学习的边界。

CPO-SimPO 是什么？

CPO-SimPO 是一种新颖的技术，它结合了来自 CPO 和 SimPO 的元素。

  • 对比偏好优化（CPO）：添加一个行为克隆正则化器，以确保模型保持在与偏好的数据分布相近的位置。
  • 简单偏好优化（SimPO）：结合长度归一化和目标奖励边界，以防止生成长但质量低下的序列。

Github

CPO-SIMPO

模型性能

即将推出！

关键改进

  • 增强的模型性能：显著提高得分，特别是在 GSM8K（提高了 8.49 分！）和 TruthfulQA（提高了 2.07 分）方面。
  • 质量控制：通过长度归一化和奖励边界改进了高质量序列的生成。
  • 平衡优化：BC 正则化器有助于在没有偏离偏好数据分布的情况下保持学习到偏好的完整性。