falcon3

Falcon3 是一系列参数小于 10B 的高效 AI 模型，通过创新的训练技术，在科学、数学和编码方面表现出色。

1b 3b 7b 10b

28.4K Pulls Updated 6 周前

更新于 6 周前

6 周前

784a7eab5b89 · 2.0GB

parameters3.23B

quantizationQ4_K_M

{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"

{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {

Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in

Readme

Falcon3 代表了 TII 在参数小于 10B 的高效语言模型方面的最新进展，专注于增强科学、数学和代码能力，同时保持训练效率。

主要特点

四种尺寸：1B、3B、7B、10B
深度放大技术用于从 7B 模型创建 10B 模型
知识蒸馏用于较小模型 (1B, 3B)

性能亮点

falcon3:1b 性能优于 smollm2:1.7b，与 gemma2:2b 相当
falcon3:10b 在小于 13B 参数类别中 достигает SOTA
扩展上下文长度最多 32K tokens（1B 模型为 8K）

参考