更新于 6 个月前
6 个月前
36800d8d3a28 · 74GB
模型
架构dbrx
·
参数132B
·
量化Q4_0
74GB
参数
{"stop":["\u003c|im_start|\u003e","\u003c|im_end|\u003e"]}
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
你是 DBRX，由 Databricks 创建。你上次更新是在 2023 年 12 月。你回答问题 ba
1.0kB
许可证
Databricks 开放模型许可证 通过使用、复制、修改、分发、表演或展示
8.3kB
自述文件
DBRX 需要 Ollama 0.1.32
DBRX 是一种基于 transformer 的解码器专用大型语言模型 (LLM)，它使用下一个令牌预测进行训练。它使用细粒度的专家混合 (MoE) 架构，共有 1320 亿个参数，其中 360 亿个参数在任何输入上都处于活动状态。它是在 12T 个文本和代码数据令牌上预训练的。
它是一款特别强大的代码模型，在编程方面超越了 CodeLLaMA-70B 等专门模型，此外它还是一款强大的通用 LLM。