mannix / phi3-mini-cpo-simpo

Phi-3mini-4K-CPO-SimPO说明

3B

25 拉取 更新于6周前

6周前

cdbb9b2b7e66 · 2.4GB

模型
phi3
·
3.82B
·
Q4_1
许可证
Microsoft. 版权（c）微软公司。MIT 许可证 以下是对任何获得此软件和相关文档副本（“软件”）的人士的免费许可，以便在不作任何限制的情况下处理软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本的权利，以及允许将该软件提供给他人进行上述行为的人，前提是必须遵守以下条件：上述版权声明和本许可声明应包含在软件的副本或实质性部分中。软件按原样提供，不提供任何明示或暗示的保证，包括但不限于适销性、针对特定目的的适用性和非侵权性保证。在任何情况下，作者或版权持有人不对任何索赔、损害或其他责任承担责任，无论是否基于合同、侵权或其他原因，起源于、来自或与软件或软件的使用或其他操作有关。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|> {{ .System }}<|end|> {{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}<|end|> {{ end }}<|assistant|> {{ .Response }}<|end|>

说明

Phi-3mini-4K-CPO-SimPO说明

  • 使用 i-matrix 校准 calibration_datav3.txt 的量化
  • 将 Saftensors 转换为 fp32

此存储库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比偏好优化（CPO）和简单偏好优化（SimPO）。

简介

Phi-3-mini-4K-instruct 是一种针对基于指令的任务进行优化的模型。这种方法在多个关键基准测试中表现出显著改进，推动了人工智能偏好学习的前沿。

什么是 CPO-SimPO？

CPO-SimPO 是一种新型技术，它结合了 CPO 和 SimPO 的元素。

  • 对比偏好优化（CPO）： 添加行为克隆正则化器，以确保模型始终保持接近理想数据分布。
  • 简单偏好优化（SimPO）： 采用了长度归一化和目标奖励边际，以防止生成过长但质量低下的序列。

GitHub

CPO-SIMPO

模型性能

即将推出！

关键改进

  • 增强模型性能： 显著的分数提升，尤其是在 GSM8K（提升8.49分！）和 TruthfulQA（提升2.07分）方面。
  • 质量控制： 通过长度归一化和奖励边际，提高了高质量序列的生成。
  • 平衡优化： BC 正则化器有助于在偏离理想数据分布的同时，保持学习到的偏好的完整性。