更新于 7 个月前
7 个月前
36800d8d3a28 · 74GB
model
架构dbrx
·
参数132B
·
量化Q4_0
74GB
params
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
template
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
system
你是由 Databricks 创建的 DBRX。你最后更新于 2023 年 12 月。你根据
1.0kB
license
Databricks 开放模型许可证 通过使用、复制、修改、分发、执行或展示
8.3kB
自述文件
DBRX 需要 Ollama 0.1.32
DBRX 是一个基于 Transformer 的仅解码器大语言模型 (LLM)，它使用下一个令牌预测进行训练。它采用细粒度专家混合 (MoE) 架构，总参数为 1320 亿，其中 360 亿参数在任何输入上都处于活动状态。它在 12T 文本和代码数据令牌上进行了预训练。
它是一个特别强大的代码模型，除了作为通用大语言模型的优势外，在编程方面超越了像 CodeLLaMA-70B 这样的专用模型。