mannix / llama3-12b

Meta-Llama-3-12B-Instruct 是来自 M. Labonne 的 llama3-8b 的深度上采样合并。

254 Pulls 更新于 2 个月前

3 个月前

3978e41a6ba8 · 6.2GB

模型
llama
·
11.5B
·
Q3_K_L
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
参数
{"num_keep":24,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}

说明文件

Meta-Llama-3-12B-Instruct 是来自 M. Labonne 的 llama3-8b 的深度上采样合并。

使用imatrix进行量化，使用groups_merged.txt

https://hugging-face.cn/mlabonne/Meta-Llama-3-12B-Instruct