llama2-中文

基于 Llama 2 的模型，针对提升中文对话能力进行微调。

7b 13b

136.4K 12 个月前

35 个标签

自述文件

Llama 2 对话中文微调参数模型

该模型是在 Meta Platform, Inc. 发布的 Llama 2 Chat 开源模型基础上进行微调的。根据 Meta，Llama 2 的训练数据达到了两万亿个token，上下文长度也提升到了 4096。对话模型也使用 100 万个人类标记数据进行微调。

由于 Llama 2 本身的中文对齐比较弱，开发者采用了中文指令集进行微调，使其具备较强的中文对话能力。目前这个中文微调参数模型共发布了 7B 和 13B 两种参数大小。

Llama 2 chat 中文微调模型

该模型是在 Meta Platform 的 Llama 2 Chat 开源模型基础上进行微调的。根据 Meta，Llama 2 是用 2 万亿个 token 进行训练的，上下文长度提升到 4096。对话模型使用 100 万个经过人工标注的数据进行微调。

由于 Llama 2 本身的中文对齐相对较弱，开发者采用中文指令集进行微调以提升中文对话能力。

中文微调模型提供 7B 和 13B 两种参数大小。

CLI

打开终端并运行 ollama run llama2-chinese

API

运行模型

curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "llama2-chinese:7b-chat-q4_0",
  "prompt":"为什么天空是蓝色的"
 }'

内存要求

  • 7b 模型通常需要至少 8GB 的内存
  • 13b 模型通常需要至少 16GB 的内存

参考

FlagAlpha

FlagAlpha