IBM Granite 1B 和 3B 模型是由 IBM 开发的长上下文混合专家 (MoE) Granite 模型,旨在实现低延迟使用。
工具 1b 3b
20.6K 下载量 更新于 2 周前
更新于 2 周前
2 周前
39b91d40cf9e · 1.0GB
模型
archgranitemoe
·
parameters1.33B
·
quantizationQ5_1
1.0GB
系统
知识截止日期:2024 年 4 月。您是 Granite,由 IBM 开发。
69B
模板
<|start_of_role|>system<|end_of_role|> {{- if and (gt (len .Messages) 0) (eq (index .Messages 0).Rol
1.4kB
许可证
Apache License Version 2.0, January 2004
11kB
自述文件
Granite 混合专家模型
IBM Granite **1B 和 3B 模型**是由 IBM 开发的长上下文混合专家 (MoE) Granite 模型,旨在实现低延迟使用。
这些模型使用超过 10 万亿个 tokens 的数据进行训练,Granite MoE 模型非常适合部署在设备端应用程序或需要即时推理的场景中。
参数大小
1B
ollama run granite3.1-moe:1b
3B
ollama run granite3.1-moe:3b
支持的语言
英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文(简体)
功能
- 摘要
- 文本分类
- 文本提取
- 问答
- 检索增强生成 (RAG)
- 代码相关任务
- 函数调用任务
- 多语言对话用例
- 长上下文任务,包括长文档/会议摘要、长文档问答等。
Granite 稠密模型
Granite 稠密模型提供 **2B 和 8B** 参数大小,旨在支持基于工具的用例和检索增强生成 (RAG),从而简化代码生成、翻译和错误修复。
了解更多
- **开发者:** IBM Research
- **GitHub 仓库:** ibm-granite/granite-language-models
- **网站:** Granite Docs
- **发布日期:** 2024 年 12 月 18 日
- **许可证:** Apache 2.0。