一个开源的专家混合(Mixture-of-Experts)代码语言模型,其在特定代码任务中的性能可与 GPT4-Turbo 相媲美。

16b 236b

423.5K 3个月前

自述文件

DeepSeek-Coder-V2 是一个开源的专家混合 (MoE) 代码语言模型,其在特定代码任务中的性能可与 GPT4-Turbo 相媲美。DeepSeek-Coder-V2 在 DeepSeek-Coder-V2-Base 的基础上进行了进一步预训练,使用了来自高质量多源语料库的 6 万亿个 tokens。

参考文献

Hugging Face