IBM Granite 3.0 模型

现在可以使用 Ollama 运行一系列 IBM Granite 3.0 模型。 所有模型均以标准的 Apache 2.0 许可证提供。

性能与最先进的开源模型相当

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

Granite 2B 和 Granite 8B 是仅文本的密集 LLM，经过超过 12 万亿个 token 的数据训练，在 IBM 的初始测试中，性能和速度相比前代产品有了显著提升。Granite 8B Instruct 现在在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基准测试中都可以与 Llama 3.1 8B Instruct 相媲美。

它们旨在支持基于工具的用例，并支持检索增强生成 (RAG)、简化代码生成、翻译和错误修复。

用于低延迟的混合专家 (MoE) 模型

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

1B 和 3B 模型是 IBM 推出的第一个混合专家 (MoE) Granite 模型，专为低延迟使用而设计。

这些模型经过超过 10 万亿个 token 的数据训练，Granite MoE 模型非常适合在设备上应用程序或需要即时推理的情况下部署。

功能

• 摘要
• 文本分类
• 文本提取
• 问答
• 检索增强生成 (RAG)
• 代码相关
• 函数调用
• 多语言对话用例

开始使用

• Granite Dense 2B 和 8B 模型
• Granite 混合专家 1B 和 3B 模型