一款轻量级 AI 模型,拥有 38 亿个参数,性能超越同类规模甚至更大的模型。

3.8b

164.9K 2 个月前

自述文件

Phi-3.5-mini 是一款轻量级、最先进的开源模型,基于 Phi-3 使用的数据集构建,这些数据集包括合成数据和经过过滤的公开可用网站,重点关注非常高质量、推理密集型数据。

该模型属于 Phi-3 模型家族,支持 128K 个令牌的上下文长度。该模型经历了严格的增强过程,结合了监督微调、近端策略优化和直接偏好优化,以确保精确的指令遵循和稳健的安全措施。

长上下文

Phi-3.5-mini 支持 128K 个令牌的上下文长度,因此该模型能够执行多种长上下文任务,包括长文档/会议摘要、长文档问答、长文档信息检索。

参考文献

Hugging Face