DBRX 需要 Ollama 0.1.32

DBRX 是一个基于 Transformer 的仅解码器大型语言模型 (LLM)，它使用下一个 token 预测进行训练。它使用细粒度的混合专家 (MoE) 架构，总共有 1320 亿个参数，其中 360 亿个参数在任何输入上都是激活的。它在 12T token 的文本和代码数据上进行了预训练。

它是一个特别强大的代码模型，在编程方面超越了像 CodeLLaMA-70B 这样的专门模型，并且它也是一个通用的 LLM。

参考

博客文章

HuggingFace