mannix / phi3-mini-cpo-simpo

Phi-3-mini-4K指令与CPO-SimPO

3B

25 Pulls 更新于6周前

6周前

20f273a9eec3 · 2.2GB

模型
phi3
·
3.82B
·
Q4_0
许可证
Microsoft. 版权（c）微软公司。MIT 许可证兹特在此，免费许可任何获得本软件及相关文档副本（以下简称“软件”）的人，无限制地使用该软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或出售软件的副本，并允许将软件提供给他人使用，但受以下条件的限制：以上版权声明和本许可声明应包含在软件的全部副本或主要部分中。软件按“原样”提供，不提供任何明示或暗示的保证，包括但不限于适销性、适用于特定目的和非侵权保证。在任何情况下，作者或版权所有者均不对任何索赔、损害或其他责任负责，不论是由于合同、侵权或其他行为引起的，无论该索赔、损害或其他责任是否与软件或软件的使用或其他交易有关。
参数
{"stop":["<|end|>","<|user|>","<|assistant|>"]}
模板
{{ if .System }}<|system|> {{ .System }}<|end|> {{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}<|end|> {{ end }}<|assistant|> {{ .Response }}<|end|>

自述文件

Phi-3-mini-4K指令与CPO-SimPO

  • 使用 i-matrix 校准的量化
  • 转换为 fp32 的 Saftensors

此仓库包含使用 CPO-SimPO 技术增强的 Phi-3-mini-4K-instruct 模型。CPO-SimPO 结合了对比偏好优化 (CPO) 和简单偏好优化 (SimPO)。

简介

Phi-3-mini-4K-instruct 是一种针对基于指令的任务进行优化的模型。这种方法在关键基准测试中表现出显著改进，推动了 AI 偏好学习的前沿。

什么是 CPO-SimPO？

CPO-SimPO 是一种新技术，它结合了 CPO 和 SimPO 的元素。

  • 对比偏好优化（CPO）：增加行为克隆正则化器以确保模型保持在所偏好的数据分布附近。
  • 简单偏好优化（SimPO）：结合长度归一化和目标奖励边距，以防止生成长而低质量序列。

GitHub

CPO-SIMPO

模型性能

即将推出！

主要改进

  • 增强模型性能：显著提高分数，特别是在GSM8K（提高了8.49分！）和TruthfulQA（提高了2.07分）方面。
  • 质量控制：通过长度归一化和奖励边距提高了生成高质量序列的能力。
  • 平衡优化：BC正则化器有助于保持学习偏好的完整性，同时不偏离所偏好的数据分布。