8 周前更新
8 周前
6cb4e4f13e67 · 5.1GB
自述文件
注意：此模型需要 Ollama 0.3.10 或更高版本。
MiniCPM-V 2.6 是 MiniCPM-V 系列中最新的、功能最强大的模型。该模型基于 SigLip-400M 和 Qwen2-7B 构建，总共包含 80 亿个参数。它在 MiniCPM-Llama3-V 2.5 基础上取得了显著的性能提升，并引入了用于多图像和视频理解的新功能。MiniCPM-V 2.6 的主要特点包括
🔥 领先的性能：MiniCPM-V 2.6 在最新版本的 OpenCompass 上取得了 65.2 的平均分数，该评估涵盖了 8 个流行的基准测试。仅用 80 亿个参数，它就超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等广泛使用的专有模型，实现了单图像理解。
🖼️ 多图像理解和上下文学习。MiniCPM-V 2.6 还可以对多个图像进行对话和推理。它在 Mantis-Eval、BLINK、Mathverse mv 和 Sciverse mv 等流行的多图像基准测试中取得了最先进的性能，并且在上下文学习方面也展现出了良好的潜力。
💪 强大的 OCR 功能：MiniCPM-V 2.6 可以处理任何纵横比、高达 180 万像素（例如 1344x1344）的图像。它在 OCRBench 上取得了最先进的性能，超越了 GPT-4o、GPT-4V 和 Gemini 1.5 Pro 等专有模型。它基于最新的 RLAIF-V 和 VisCPM 技术，具有可信赖的行为，在 Object HalBench 上的幻觉率明显低于 GPT-4o 和 GPT-4V，并且支持英语、中文、德语、法语、意大利语、韩语等多种语言的能力。
🚀 卓越的效率：除了友好的大小之外，MiniCPM-V 2.6 还展现出了最先进的标记密度（即编码到每个视觉标记中的像素数量）。它在处理 180 万像素图像时仅生成 640 个标记，比大多数模型少 75%。这直接提高了推理速度、首个标记延迟、内存使用量和功耗。