更新于 9 个月前
9 个月前
2bacc27fc29a · 263GB
模型
架构dbrx
·
参数132B
·
量化F16
263GB
参数
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions ba
1.0kB
许可证
Databricks 开源模型许可证 通过使用、复制、修改、分发、执行或展示
8.3kB
Readme
DBRX 需要 Ollama 0.1.32
DBRX 是一个基于 Transformer 的、仅解码器的大型语言模型 (LLM)，它通过预测下一个 token 进行训练。它使用细粒度的混合专家 (MoE) 架构，总共有 1320 亿个参数，其中 360 亿个参数在任何输入上都是激活的。它在 12 万亿个 token 的文本和代码数据上进行了预训练。
除了作为通用 LLM 的优势外，它还是一个特别强大的代码模型，在编程方面超越了像 CodeLLaMA-70B 这样的专用模型。