IBM Granite 3.0 模型

现在可以使用 Ollama 运行一系列 IBM Granite 3.0 模型。所有模型均在标准 **Apache 2.0 许可** 下提供。

性能与最先进的开源模型相当

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

**Granite 2B 和 Granite 8B 是文本密集型 LLM**，在超过 12 万亿个词元的训练数据上进行训练，在 IBM 的初步测试中，其性能和速度都比前代产品有了显著提高。Granite 8B Instruct 在 OpenLLM 排行榜 v1 和 OpenLLM 排行榜 v2 基准测试中均可与 Llama 3.1 8B Instruct 相媲美。

**它们旨在支持基于工具的用例**，并支持检索增强生成 (RAG)，简化代码生成、翻译和错误修复。

混合专家 (MoE) 模型，用于低延迟

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

**1B 和 3B 模型** 是来自 IBM 的首批用于低延迟使用的混合专家 (MoE) Granite 模型。

这些模型在超过 10 万亿个词元的训练数据上进行了训练，Granite MoE 模型非常适合部署在设备应用程序中或需要即时推理的情况下。

功能

• 摘要
• 文本分类
• 文本提取
• 问答
• 检索增强生成 (RAG)
• 与代码相关
• 函数调用
• 多语言对话用例

入门

• Granite Dense 2B 和 8B 模型
• Granite 混合专家 1B 和 3B 模型