falcon3

Falcon3 是一个高效的 AI 模型系列，参数量少于 100 亿，通过创新的训练技术，在科学、数学和编码方面表现出色。

1b 3b 7b 10b

2.84万下载量更新于 6 周前

更新于 6 周前

6 周前

1653ff122acd · 6.3GB

parameters10.3B

quantizationQ4_K_M

{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"

{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {

Falcon 3 TII Falcon 许可证 2024 年 12 月 FalconLLM.tii.ae 介绍性说明本许可证是，在

自述文件

Falcon3 代表了 TII 在 100 亿参数以下的高效语言模型方面的最新进展，专注于增强科学、数学和代码能力，同时保持训练效率。

主要特点

四种尺寸：1B、3B、7B、10B
使用深度放大技术从 7B 模型创建 10B 模型
针对较小模型的知识蒸馏（1B、3B）

性能亮点

falcon3:1b 性能优于 smollm2:1.7b，与 gemma2:2b 相媲美
falcon3:10b 在 130 亿参数以下类别中达到 SOTA
扩展上下文长度最多 32K tokens（1B 模型为 8K）

参考