IBM Granite 3.0 模型

现在可以使用 Ollama 运行一系列 IBM Granite 3.0 模型。所有模型均在标准的 Apache 2.0 许可证下提供。

性能与最先进的开放模型相当

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

Granite 2B 和 Granite 8B 是仅限文本的密集型 LLM，在超过 12 万亿个数据标记上训练，在 IBM 的初步测试中，它们在性能和速度方面比其前身有了显著提高。Granite 8B Instruct 现在在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基准测试中均可与 Llama 3.1 8B Instruct 相媲美。

它们旨在支持基于工具的用例，并支持检索增强生成 (RAG)，从而简化代码生成、翻译和错误修复。

用于低延迟的专家混合 (MoE) 模型

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

1B 和 3B 模型是 IBM 推出的首款专家混合 (MoE) Granite 模型，专为低延迟使用而设计。

这些模型在超过 10 万亿个数据标记上训练，Granite MoE 模型非常适合部署在设备上的应用程序或需要即时推理的情况中。

能力

• 摘要
• 文本分类
• 文本提取
• 问答
• 检索增强生成 (RAG)
• 代码相关
• 函数调用
• 多语言对话用例

开始使用

• Granite 密集型 2B 和 8B 模型
• Granite 专家混合 1B 和 3B 模型