7个月前更新
7个月前
36800d8d3a28 · 74GB
模型
架构dbrx
·
参数132B
·
量化Q4_0
74GB
参数
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
你是DBRX，由Databricks创建。你最后一次更新是在2023年12月。你回答问题ba
1.0kB
许可证
Databricks开放模型许可证 通过使用、复制、修改、分发、执行或展示
8.3kB
自述文件
DBRX需要Ollama 0.1.32
DBRX是一个基于Transformer的仅解码器大型语言模型（LLM），它是使用下一个token预测进行训练的。它使用细粒度的专家混合（MoE）架构，共有132B个参数，其中任何输入上都有36B个参数处于活动状态。它是在12T个文本和代码数据token上进行预训练的。
它是一个特别强大的代码模型，在编程方面超越了CodeLLaMA-70B等专业模型，此外它还是一个通用的LLM。