自述文件
Qwen2.5-Coder 是最新一代的代码专用 Qwen 大型语言模型(以前称为 CodeQwen)。对于 Qwen2.5-Coder,将发布三个基础语言模型和指令微调语言模型,分别为 1.5 亿、70 亿和 320 亿(即将推出)个参数。
- 在代码生成、代码推理和代码修复方面取得了显著改进。基于强大的 Qwen2.5,我们将训练代币扩展到 5.5 万亿个,包括源代码、文本-代码对齐、合成数据等。
- 为现实世界应用(如代码代理)提供更全面的基础。不仅增强了编码能力,而且保持了其在数学和一般能力方面的优势。
- 支持高达 128K 个代币的長文本。