Falcon3 是参数小于 100 亿的高效 AI 模型系列,通过创新训练技术在科学、数学和编码方面表现出色。
1b 3b 7b 10b
28.4K 下载量 更新于 6 周前
更新于 6 周前
6 周前
1653ff122acd · 6.3GB
模型
架构llama
·
参数10.3B
·
量化Q4_K_M
6.3GB
参数
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
模板
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
许可
Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in
13kB
自述文件
Falcon3 代表了 TII 在参数小于 100 亿的高效语言模型方面的最新进展,专注于增强科学、数学和代码能力,同时保持训练效率。
主要特性
- 四种尺寸:1B、3B、7B、10B
- 使用深度升级技术从 7B 模型创建 10B 模型
- 针对较小模型的知识蒸馏(1B、3B)
性能亮点
falcon3:1b
性能优于smollm2:1.7b
,与gemma2:2b
相媲美falcon3:10b
在小于 13B 参数类别中 достигает SOTA- 扩展上下文长度至 32K tokens (1B 模型为 8K)