Phi-3 是微软开发的一系列轻量级 3B(小型)和 14B(中型)最先进的开放模型。

3.8b 14b

270万 4个月前

自述文件

Phi-3 是微软开发的一系列开放式AI模型。

参数大小

上下文窗口大小

注意:此模型的 128k 版本需要 Ollama 0.1.39 或更高版本。

  • 4k ollama run phi3:mini ollama run phi3:medium
  • 128k ollama run phi3:medium-128k

image.png

Phi-3 Mini

Phi-3 Mini 是一个拥有 38 亿参数的轻量级、最先进的开放模型,使用 Phi-3 数据集进行训练,该数据集包含合成数据和经过过滤的公开可用网站数据,重点关注高质量和密集推理特性。

该模型经过了后期训练过程,该过程结合了监督微调和直接偏好优化,以确保精确的指令遵循和强大的安全措施。

在评估常识、语言理解、数学、代码、长文本和逻辑推理的基准测试时,Phi-3 Mini-4K-Instruct 在参数少于 130 亿的模型中展现了强大且最先进的性能。

Phi-3 Medium

Phi-3 Medium 是一个拥有 140 亿参数的语言模型,其性能优于 Gemini 1.0 Pro。

image.png

预期用途

主要用例

该模型旨在用于英语的商业和研究用途。该模型可用于需要 1)内存/计算受限环境 2)延迟受限场景 3)强大的推理能力(尤其是数学和逻辑) 4)长文本上下文的应用程序。

我们的模型旨在加速对语言和多模态模型的研究,用作生成式 AI 驱动功能的构建块。

用例注意事项

我们的模型并非专门为所有下游用途而设计或评估。开发人员在选择用例时应考虑语言模型的常见局限性,并在特定下游用例中使用之前评估和减轻准确性、安全性和公平性问题,尤其是在高风险场景中。开发人员应了解并遵守与其用例相关的适用法律法规(包括隐私、贸易合规法律等)。模型卡中包含的任何内容都不应解释为或被视为对模型发布所依据的许可证的限制或修改。

负责任的AI考量

与其他语言模型一样,Phi 系列模型可能会以不公平、不可靠或冒犯的方式运行。一些需要注意的限制性行为包括:

  • 服务质量:Phi 模型主要使用英语文本进行训练。非英语语言的性能会下降。训练数据中代表性较低的英语变体可能比标准美式英语的性能更差。

  • 危害的呈现和刻板印象的延续:这些模型可能会过度或不足地代表人群,抹去某些群体的代表性,或强化贬低或负面的刻板印象。尽管进行了安全后训练,但由于不同群体的代表性水平不同或训练数据中负面刻板印象的例子普遍存在(反映了现实世界中的模式和社会偏见),这些限制仍然可能存在。

  • 不当或冒犯性内容:这些模型可能会产生其他类型的不当或冒犯性内容,这可能使其不适合在敏感环境中部署,除非采取针对特定用例的其他缓解措施。

  • 信息可靠性:语言模型可能会生成无意义的内容或捏造听起来合理但实际上不准确或过时的内容。

  • 代码范围有限:Phi-3 训练数据大部分基于 Python,并使用常见的包,例如“typing、math、random、collections、datetime、itertools”。如果模型生成的 Python 脚本使用了其他包或其他语言的脚本,我们强烈建议用户手动验证所有 API 使用情况。

开发人员应应用负责任的 AI 最佳实践,并有责任确保特定用例符合相关的法律法规(例如隐私、贸易等)。需要考虑的重要领域包括:+ 分配:如果没有进一步的评估和额外的去偏见技术,模型可能不适合可能对法律地位或资源或生活机会的分配产生重大影响的场景(例如:住房、就业、信贷等)。

  • 高风险场景:开发人员应评估在高风险场景中使用模型的适用性,在这些场景中,不公平、不可靠或冒犯性的输出可能代价高昂或导致损害。这包括在准确性和可靠性至关重要的敏感或专业领域提供建议(例如:法律或健康建议)。应根据部署环境在应用程序级别实施额外的安全措施。

  • 错误信息:模型可能会产生不准确的信息。开发人员应遵循透明度最佳实践,并告知最终用户他们正在与 AI 系统交互。在应用程序级别,开发人员可以构建反馈机制和管道,将响应建立在特定于用例的上下文信息的基础上,这是一种称为检索增强生成 (RAG) 的技术。

  • 有害内容的生成:开发人员应根据其上下文评估输出,并使用与其用例相关的可用安全分类器或自定义解决方案。

  • 滥用:其他形式的滥用,例如欺诈、垃圾邮件或恶意软件生产,可能是可能的,开发人员应确保其应用程序不违反适用的法律法规。

训练

模型

  • 架构:Phi-3 Mini拥有38亿参数,是一个密集的仅解码器Transformer模型。该模型使用监督微调(SFT)和直接偏好优化(DPO)进行微调,以确保与人类偏好和安全准则保持一致。
  • 输入:文本。它最适合使用聊天格式的提示。
  • 上下文长度:128K tokens
  • GPU:512 个 H100-80G
  • 训练时间:7 天
  • 训练数据:3.3 万亿 tokens
  • 输出:针对输入生成的文本
  • 日期:我们的模型训练时间为2024年2月至4月
  • 状态:这是一个基于截止日期为2023年10月的离线数据集训练的静态模型。随着模型的改进,我们可能会发布未来版本的微调模型。

数据集

我们的训练数据包含各种来源,总计3.3万亿tokens,包括:1)经过严格质量过滤的公共文档、精选的高质量教育数据和代码;2)为教学数学、编码、常识推理、世界常识(科学、日常活动、心智理论等)而新创建的合成“教科书式”数据;3)涵盖各种主题的高质量聊天格式监督数据,以反映人类在指令遵循、真实性、诚实和帮助等不同方面的偏好。

软件

许可证

该模型根据MIT许可证授权。

商标

此项目可能包含项目、产品或服务的商标或徽标。经授权使用Microsoft商标或徽标须遵守并遵循Microsoft的商标和品牌指南。在修改版本的项目中使用Microsoft商标或徽标不得造成混淆或暗示Microsoft赞助。任何第三方商标或徽标的使用均受这些第三方的政策约束。

资源