更新于 9 个月前
9 个月前
e2554a95cc76 · 48GB
模型
架构dbrx
·
参数132B
·
量化Q2_K
48GB
参数
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
你是 DBRX，由 Databricks 创建。你最近于 2023 年 12 月更新。你回答问题 ba
1.0kB
许可证
Databricks 开源模型许可证 通过使用、复制、修改、分发、执行或展示
8.3kB
自述文件
DBRX 需要 Ollama 0.1.32
DBRX 是一个基于 Transformer 的仅解码器大型语言模型 (LLM)，它使用下一个 token 预测进行训练。它使用细粒度的混合专家 (MoE) 架构，总共有 132B 参数，其中 36B 参数在任何输入上都是激活的。它在 12T 个 token 的文本和代码数据上进行了预训练。
除了作为通用 LLM 的优势外，它还是一个功能特别强大的代码模型，在编程方面超越了像 CodeLLaMA-70B 这样的专业模型。