mannix / phi3-mini-cpo-simpo

Phi-3-mini-4K-instruct with CPO-SimPO

3B

25 提拉 更新于 6 周前

6周前

d1e679dd05f7 · 2.9GB

模型
phi3
·
3.82B
·
Q5_1
许可证
Microsoft. 版权所有（C）微软公司。MIT许可证 允许任何人免费获得本软件及关联文档（“软件”）的副本，可以不受限制地使用、复制、修改、合并、发布、分发、再许可或出售软件副本，并允许向提供软件的人员进行此类操作，但受以下条件的限制：以上版权声明和本许可声明应包含在软件的副本或实质性部分中。软件按“原样”提供，不提供任何明示或暗示的保证，包括但不限于适销性、特定目的的适用性和非侵权性。在任何情况下，作者或版权持有人不对任何索赔、损害或任何其他责任（无论是违约、侵权或其他方式），因软件或其使用或与此有关而产生，不承担责任。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|>{{ .System }}<|end|>{{ end }}{{ if .Prompt }}<|user|>{{ .Prompt }}<|end|>{{ end }}<|assistant|>{{ .Response }}<|end|>

说明文档

Phi-3-mini-4K-instruct with CPO-SimPO

  • 使用 i-matrix calibration_datav3.txt 的量化
  • 已转换为 fp32 的 Saftensors

此存储库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比性偏好优化 (CPO) 和简单偏好优化 (SimPO)。

简介

Phi-3-mini-4K-instruct 是一种针对基于指令的任务优化的模型。这种方法在关键基准测试中表现出显著的改进，推动了人工智能偏好学习的发展。

CPO-SimPO 是什么？

CPO-SimPO 是一种新型技术，结合了 CPO 和 SimPO 的元素

  • 对比性偏好优化 (CPO)： 添加行为克隆正则化器以确保模型保持接近首选数据分布。
  • 简单偏好优化（SimPO）： 结合长度归一化和目标奖励边界，以防止生成长但低质量的序列。

GitHub

CPO-SIMPO

模型性能

即将推出！

关键改进

  • 增强模型性能： 显著的分数提升，尤其在GSM8K（提升8.49分！）和TruthfulQA（提升2.07分）方面。
  • 质量控制： 通过长度归一化和奖励边界提升高质量序列的生成。
  • 平衡优化： BC正则化器帮助保持学习偏好的一致性，同时不偏离喜好数据分布。