falcon3

Falcon3 是一个高效的 AI 模型系列，参数小于 100 亿，通过创新的训练技术在科学、数学和编码方面表现出色。

1b 3b 7b 10b

28.4K 下载量更新于 6 周前

更新于 6 周前

6 周前

5449d006a9c7 · 1.8GB

parameters1.67B

quantizationQ8_0

{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"

{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {

Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in

Readme

Falcon3 代表了 TII 在参数小于 100 亿的高效语言模型方面的最新进展，专注于增强科学、数学和代码能力，同时保持训练效率。

主要特性

四种尺寸：1B、3B、7B、10B
使用深度放大技术从 7B 模型创建 10B 模型
针对较小模型的知识蒸馏 (1B, 3B)

性能亮点

falcon3:1b 性能优于 smollm2:1.7b，与 gemma2:2b 相当
falcon3:10b 在 130 亿参数以下类别中达到 SOTA
扩展上下文长度至 32K tokens（1B 模型为 8K）

参考