IBM Granite 3.0 模型

现在可以使用 Ollama 运行精选的 IBM Granite 3.0 模型。所有模型均在标准的 Apache 2.0 许可证 下提供。

性能与最先进的开放模型相当

2B

ollama run granite3-dense

8B

ollama run granite3-dense:8b

Granite 2B 和 Granite 8B 是纯文本密集型 LLM，使用超过 12 万亿个 token 的数据进行训练，在 IBM 的初步测试中，在性能和速度方面都比其前代产品有了显著的改进。Granite 8B Instruct 现在在 OpenLLM Leaderboard v1 和 OpenLLM Leaderboard v2 基准测试中均可与 Llama 3.1 8B Instruct 相媲美。

它们旨在支持基于工具的用例，并支持检索增强生成 (RAG)，从而简化代码生成、翻译和错误修复。

用于低延迟的专家混合 (MoE) 模型

1B

ollama run granite3-moe

3B

ollama run granite3-moe:3b

1B 和 3B 模型 是 IBM 推出的首批专家混合 (MoE) Granite 模型，专为低延迟使用而设计。

这些模型使用超过 10 万亿个 token 的数据进行训练，Granite MoE 模型非常适合部署在设备端应用程序或需要即时推理的场景中。

功能

• 摘要
• 文本分类
• 文本提取
• 问答
• 检索增强生成 (RAG)
• 代码相关
• 函数调用
• 多语言对话用例

开始使用

• Granite 密集型 2B 和 8B 模型
• Granite 专家混合 1B 和 3B 模型