IBM Granite 1B 和 3B 模型是 IBM 推出的首批专家混合 (MoE) Granite 模型,专为低延迟使用而设计。
工具 1b 3b
18.1K 拉取 更新于 2 周前
更新于 2 周前
2 周前
d84e1e38ee39 · 822MB
model
架构granitemoe
·
参数1.33B
·
量化Q4_K_M
822MB
params
{ "num_gpu": 23 }
15B
system
你是 Granite,一个由 IBM 于 2024 年开发的 AI 语言模型。
63B
template
{{- if .Tools }}<|start_of_role|>available_tools<|end_of_role|> {{- range .Tools }} {{ . }} {{ end }
664B
license
Apache License Version 2.0, January 2004
11kB
自述文件
Granite 专家混合模型
IBM Granite 1B 和 3B 模型是 IBM 推出的首批专家混合 (MoE) Granite 模型,专为低延迟使用而设计。
这些模型在超过 10 万亿个数据标记上进行训练,Granite MoE 模型非常适合部署在设备端应用程序或需要即时推理的情况中。
参数大小
1B
ollama run granite3-moe:1b
3B
ollama run granite3-moe:3b
支持的语言
英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文(简体)
能力
- 摘要
- 文本分类
- 文本提取
- 问答
- 检索增强生成 (RAG)
- 代码相关
- 函数调用
- 多语言对话用例
Granite 密集模型
Granite 密集模型提供 2B 和 8B 参数大小,旨在支持基于工具的用例和检索增强生成 (RAG),从而简化代码生成、翻译和错误修复。
了解更多
- 开发者: IBM Research
- GitHub 仓库: ibm-granite/granite-3.0-language-models
- 网站: Granite 文档
- 发布日期:2024 年 10 月 21 日
- 许可证: Apache 2.0。