Solar Pro Preview：一款先进的大型语言模型 (LLM)，拥有 220 亿参数，旨在适应单 GPU 运行
22b
27.4K Pulls Updated 4 months ago
4 个月前更新
4 个月前
4a090dbef5c4 · 14GB
model
archsolar
·
parameters22.1B
·
quantizationQ4_1
14GB
params
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
template
{{- range $index, $_ := .Messages }}<|im_start|>{{ .Role }} {{ .Content }} {{- if eq (len (slice $.M
232B
license
MIT 许可证 Copyright (c) Upstage Corporation。 特此免费授予许可，给任何获得本
1.1kB
自述文件
Solar Pro Preview 是一款先进的大型语言模型 (LLM)，拥有 220 亿参数，经过优化可在单个 GPU 上运行。与参数少于 300 亿的 LLM 相比，它展现出卓越的性能，并提供与更大的模型（如拥有 700 亿参数的 Llama 3.1）相媲美的结果。
Solar Pro Preview 采用增强型深度向上扩展方法开发，将拥有 140 亿参数的 Phi-3-medium 模型扩展到 220 亿参数，旨在在配备 80GB VRAM 的 GPU 上运行。训练策略和数据集经过精心策划，从而在 Phi-3-medium 的基础上实现了显著的性能提升，尤其是在 MMLU-Pro 和 IFEval 等基准测试中，这些基准测试评估模型的知识和指令遵循能力。
作为官方 Solar Pro 的预发布版本，Solar Pro Preview 在语言覆盖范围和最大上下文长度 4K 方面存在限制。尽管存在这些限制，该模型仍以其效率和能力脱颖而出，并具有未来扩展以支持更多语言和功能的潜力。
计划于 2024 年 11 月发布的官方版本 Solar Pro 将包括扩展的语言支持和更长的上下文窗口。