Stable Code 3B 是一个编码模型,其指令和代码补全变体与 Code Llama 7B 等大 2.5 倍的模型相当。
122.4K 拉取 更新于 11 个月前
更新于 11 个月前
11 个月前
61aee905b748 · 1.1GB
自述文件
Stable Code 3B 是一个具有 30 亿参数的大型语言模型 (LLM),它能够实现准确且响应迅速的代码补全,其水平与 Code Llama 7b 等大 2.5 倍的模型相当。
主要特性
- NEW 指令模型
ollama run stable-code
- 中间填充功能 (FIM)
- 支持长上下文,使用最多 16,384 个序列进行训练
模型 | 大小 | Python | C++ | Javascript | Java | PHP | Rust |
---|---|---|---|---|---|---|---|
Stable Code | 3B | 32.4% | 30.9% | 32.1% | 32.1% | 24.2% | 23.0% |
CodeLLama | 7B | 30.0% | 28.2% | 32.5% | 31.1% | 25.7% | 26.3% |
Deepseek Coder | 1.3B | 28.6% | 29.2% | 28.7% | 29.0% | 23.6% | 18.5% |
Wizard Coder | 3B | 31.6% | 25.6% | 26.2% | 25.8% | 25.3% | 20.4% |
StarCoder | 3B | 21.6% | 19.8% | 21.5% | 20.5% | 19.0% | 16.9% |
Replit Code V1.5 | 3B | 23.0% | 25.9% | 26.2% | 23.6% | 23.2% | 21.5% |
Deci Coder | 1B | 19.1% | 6.8% | 18.4% | 16.7% | 2.1% | 1.7% |
模型详情
- 开发者:Stability AI
- 模型类型:stable-code 模型是基于 Transformer 解码器架构的自回归语言模型。
- 语言:英语,代码
- 联系方式:有关模型的疑问和意见,请发送电子邮件至
lm@stability.ai
模型架构
该模型是类似于 LLaMA (Touvron 等人,2023) 架构的仅解码器 Transformer,具有以下修改
参数 | 隐藏层大小 | 层数 | 头数 | 序列长度 |
---|---|---|---|---|
2,796,431,360 | 2560 | 32 | 32 | 16384 |
- 位置嵌入:旋转位置嵌入 (Su 等人,2021) 应用于头部嵌入维度的前 25%,以提高吞吐量,遵循 Black 等人 (2022)。
- 分词器:我们使用 GPTNeoX 分词器的修改版本。
NeoX
。我们添加了特殊标记来训练中间填充 (FIM) 功能,如<FIM_PREFIX>
和<FIM_SUFFIX>
以及其他特殊标记。
训练
训练数据集
该数据集由在 HuggingFace Hub 上提供的开源大规模数据集的过滤混合组成:Falcon RefinedWeb 提取 (Penedo 等人,2023),以及 CommitPackFT 和 Github Issues (BigCode., 2023) 和 StarCoder (Li 等人,2023)。我们进一步补充了来自数学领域的数据的训练 (Azerbayev, Zhangir, 等人,2023 和 Yu, Longhui, 等人,2023)。
训练的 18 种顶级编程语言: - C - CPP - Java - JavaScript - CSS - Go - HTML - Ruby - Rust - Markdown - Shell - Php - Sql - R - Typescript - Python - Jupyter-Clean - RestructuredText
使用和限制
预期用途
该模型旨在用作特定于应用程序的微调的基础模型。开发人员必须评估和微调模型,以确保下游应用程序中的安全性能。
限制和偏差
作为基础模型,此模型可能会表现出不可靠、不安全或其他不良行为,必须在部署之前通过评估和微调来纠正。即使在应用数据清理过滤器后,预训练数据集也可能包含冒犯性或不适当的内容,这可能会反映在模型生成的文本中。我们建议用户在生产系统中使用这些模型时要谨慎。如果这些模型不适合您的应用,或者可能对他人造成故意或无意伤害的任何应用,请勿使用这些模型。