Phi-3 Mini是由微软提供的轻量级3B最新开源模型。于2024年7月更新。
139 拉取 更新于7周前
更新于7周前
7周前
d6dec4127c49 · 2.1GB
README
- 从 fp32 进行量化
- 使用 i-matrix 标准化数据
calibration_datav3.txt
Phi-3 是由微软开发的微软 AI 模型系列。
参数量大小
- Phi-3 Mini – 30亿参数
上下文窗口大小
- 4k
ollama run mannix/phi3-mini-4k
Phi-3 Mini
Phi-3 Mini 是一个包含 38 亿参数的轻量级、最先进的开放模型。该模型使用 Phi-3 数据集进行训练,该数据集包含合成数据以及经过筛选的公开网站数据,重点在于高质量和推理密集型属性。
该模型经过后训练过程,结合了监督微调和直接偏好优化,以确保精确的指令遵守和强大的安全措施。
当与常见常识、语言理解、数学、代码、长上下文和逻辑推理的基准测试进行评估时,Phi-3 Mini-4K-Instruct 在参数少于 13 亿的模型中展示了强大的和最先进的性能。
Phi-3 Medium
Phi-3 Medium 是一个 140 亿参数的语言模型,其性能超过了 Gemini 1.0 Pro。
应用目的
主要用例
该模型旨在以英语在商业和研究领域中使用。该模型适用于需要以下用途的应用程序:
1) 内存/计算受限的环境
2) 延迟受限场景
3) 强大的推理能力(尤其是数学和逻辑)
4) 长上下文
我们的模型旨在加速语言和多模态模型的研究,用作生成式人工智能功能的基础模块。
用例考量
我们的模型并非为所有下游目的而专门设计或评估。开发者应在选择用例时考虑语言模型的常见局限性,并在特定下游用例中使用之前,评估和减轻准确性、安全性和公平性。
开发者应了解并遵守与其用例相关的适用法律或法规(包括隐私法、贸易合规法等)。
本模型卡片中包含的内容不应解释为或被视为对模型发布许可的限制或修改。
负责任的人工智能考量
与其他语言模型一样,Phi 系列模型可能会以不公平、不可靠或冒犯性的方式进行。应注意的一些限制行为包括:
服务质量:Phi 模型主要在英文文本上进行训练。除英文以外的语言将体验到更差的表现。在训练数据中代表性较低的英语变体会比标准美式英语体验到更差的表现。
危害的表示和刻板印象的持续:这些模型可能会过度或不足地表示某些人群,消除某些人群的表示,或加强贬低或负面的刻板印象。尽管经过安全后的训练,这些限制可能仍然存在,因为这些不同群体的代表性水平不同,或在训练数据中反映真实世界模式和社会偏见的负面刻板印象的例子普遍存在。
不合适或冒犯性内容:这些模型可能会产生其他类型的不合适或冒犯性内容,可能会在不采取特定于用例的额外缓解措施的情况下,不适用于敏感的上下文。
信息可靠性:语言模型可能生成无意义的内容或伪造听起来合理但实际上不准确或过时的内容。
代码的有限范围:Phi-3 训练数据的大部分基于 Python,使用常见的包,如“typing, math, random, collections, datetime, itertools”。如果模型生成使用其他包或语言的脚本,我们强烈建议用户手动验证所有 API 使用。
开发者应应用负责任的人工智能最佳实践,并对其特定用例符合相关法律和法规(如隐私、贸易等)负责。重要考虑领域包括
+分配:模型可能不适用于可能对法律地位、资源分配或生活机会产生重大影响(例如:住房、就业、信用等)的场景,除非进行进一步评估和附加去偏见技术。
高风险场景:开发者应评估在高风险场景中使用模型是否合适,因为不公平、不可靠或具有攻击性的输出可能会导致巨大损失或造成伤害。这包括在敏感或专业领域提供咨询(例如:法律或健康咨询)时。应根据部署环境在应用程序级别实施额外的安全措施。
错误信息:模型可能会生成不准确的信息。开发者应遵循透明度最佳实践,并通知最终用户他们正在与一个AI系统交互。在应用程序级别,开发者可以构建反馈机制和管道,将响应基于特定用例的上下文信息,这是一种称为检索增强生成(RAG)的技术。
有害内容的生成:开发者应评估输出内容及其上下文,并使用适合其用例的安全分类器或定制解决方案。
滥用:其他形式的滥用,如欺诈、垃圾邮件或恶意软件的生产可能发生,开发者应确保其应用程序不违反适用的法律和法规。
训练
模型
- 架构:Phi-3 Mini具有3.8B个参数,是一种密集型仅解码器Transformer模型。该模型通过监督微调(SFT)和直接偏好优化(DPO)进行微调,以确保与人类偏好和安全指南保持一致。
- 输入:文本。最适用于使用聊天格式的提示。
- 上下文长度:128K个token
- GPU:512个H100-80G
- 训练时间:7天
- 训练数据:3.3T个token
- 输出:针对输入生成的文本
- 日期:我们的模型训练时间为2024年2月至4月
- 状态:这是一个在截至2023年10月的离线数据集上训练的静态模型。随着我们改进模型,可能会有调整后的模型版本发布。
数据集
我们的训练数据包括各种来源,总共有3.3万亿个token,是以下内容的组合
1) 精密度极高的公开文档,选用了高质量的教育数据,以及代码;
2) 新创建的“教科书似”合成数据,用于教学数学、编程、常识推理、世界普遍知识(如科学、日常活动、心理理论等);
3) 高质量的聊天格式监督数据,涵盖各种主题,反映人类在指示遵循、真实性、诚实和帮助性等方面的偏好。
软件
许可
该模型遵循MIT许可。
商标
本项目可能包含项目、产品或服务的商标或标志。经授权使用Microsoft商标或标志应遵守并遵循Microsoft的商标与品牌指南。本项目修改版本中使用Microsoft商标或标志不得引起混淆或表明Microsoft的赞助。任何第三方商标或标志的使用应遵守这些第三方的政策。