更新于 6 个月前
6 个月前
36800d8d3a28 · 74GB
模型
架构dbrx
·
参数132B
·
量化Q4_0
74GB
参数
{"stop":["\u003c|im_start|\u003e","\u003c|im_end|\u003e"]}
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
你是 DBRX，由 Databricks 创建。你最后一次更新是在 2023 年 12 月。你回答问题 ba
1.0kB
许可证
Databricks 开放模型许可证 通过使用、复制、修改、分发、表演或展示
8.3kB
自述文件
DBRX 需要 Ollama 0.1.32
DBRX 是一种基于 transformer 的仅解码器大型语言模型 (LLM)，它使用下一个 token 预测进行训练。它使用细粒度的专家混合 (MoE) 架构，拥有 132B 个总参数，其中 36B 个参数在任何输入上都是活跃的。它在 12T 个文本和代码数据 token 上进行预训练。
它是一个特别强大的代码模型，在编程方面超越了像 CodeLLaMA-70B 这样的专业模型，此外它还是一个通用的 LLM。