最新系列的代码专用Qwen模型，在代码生成、代码推理和代码修复方面取得了显著改进。
775.6K 拉取请求 更新于 3周前
自述文件
Qwen 2.5 Coder 系列模型现已更新为 6 个尺寸：0.5B、1.5B、3B、7B、14B 和 32B。
在代码生成、代码推理和代码修复方面都有显著改进。32B 模型在性能上与 OpenAI 的 GPT-4o 具有竞争力。
32B： ollama run qwen2.5-coder:32b
14B： ollama run qwen2.5-coder:14b
7B： ollama run qwen2.5-coder:7b
3B： ollama run qwen2.5-coder:3b
1.5B： ollama run qwen2.5-coder:1.5b
0.5B： ollama run qwen2.5-coder:0.5b
代码能力达到开源模型的最新水平
代码生成：作为此次开源版本的主力模型，Qwen2.5 Coder 32B Instruct 在多个流行的代码生成基准测试（EvalPlus、LiveCodeBench、BigCodeBench）中取得了最佳性能，并且与 GPT-4o 具有竞争力。
代码修复：代码修复是一项重要的编程技能。Qwen2.5 Coder 32B Instruct 可以帮助用户修复代码中的错误，从而提高编程效率。Aider 是一个流行的代码修复基准测试，Qwen2.5 Coder 32B Instruct 的得分达到 73.7，在 Aider 上的性能与 GPT-4o 相当。
代码推理：代码推理是指模型学习代码执行过程并准确预测模型输入和输出的能力。最近发布的 Qwen2.5 Coder 7B Instruct 已经在代码推理方面展现出令人印象深刻的性能，而这个 32B 模型则更进一步。
多种编程语言
一个智能的编程助手应该熟悉所有编程语言。Qwen 2.5 Coder 32B 在 40 多种编程语言中表现出色，在 McEval 上的得分达到 65.9，在 Haskell 和 Racket 等语言中表现令人印象深刻。Qwen 团队在预训练阶段使用了他们自己独特的数据清洗和平衡方法。
此外，Qwen 2.5 Coder 32B Instruct 的多语言代码修复能力依然令人印象深刻，帮助用户理解和修改他们熟悉的编程语言，显著降低了学习不熟悉语言的成本。与 McEval 类似，MdEval 是一个多语言代码修复基准测试，Qwen 2.5 Coder 32B Instruct 的得分达到 75.2，在所有开源模型中排名第一。
人类偏好
为了评估 Qwen 2.5 Coder 32B Instruct 与人类偏好的对齐性能，我们构建了一个名为 Code Arena（类似于 Arena Hard）的内部标注代码偏好评估基准。我们使用 GPT-4o 作为偏好对齐的评估模型，采用“A 对 B 获胜”的评估方法，该方法衡量测试集中模型 A 的得分超过模型 B 的实例百分比。以下结果证明了 Qwen 2.5 Coder 32B Instruct 在偏好对齐方面的优势。