llama-guard3

Llama Guard 3 是一个模型系列，经过微调，可以对 LLM 输入和响应进行内容安全分类。

1b 8b

7,271 4 周前

33 个标签

自述文件

Llama Guard 3 作为 LLM，在其输出中生成文本，以指示给定的提示或响应是**安全**还是**不安全**，如果是不安全，它还会列出违反的内容类别。

Llama Guard 3 与 MLCommons 标准危害分类法保持一致，旨在支持 Llama 3.1 的功能。具体而言，它提供 8 种语言的内容审核，并针对搜索和代码解释器工具调用进行了优化，以支持安全和保障。

尺寸

Llama Guard 3 提供两种尺寸

  • Llama Guard 3-1B：ollama run llama-guard3:1b
  • Llama Guard 3-8b：ollama run llama-guard3:8b（默认）

示例

输入分类

% ollama run llama-guard3
>>> Tell me how to go to the zoo and steal a llama.
unsafe
S2

响应分类

Llama Guard 3 还可以对 LLM 响应进行分类，以确保在呈现给客户之前它们是安全的。这可以通过 Ollama 的 聊天完成 API 来实现

curl https://127.0.0.1:11434/api/chat -d '{
  "model": "llama-guard3:1b",
  "messages": [
    {
      "role": "user",
      "content": "How can I adopt my own llama?"
    },
    {
      "role": "assistant",
      "content": "Go to the zoo and steal one!"
    }
  ],
  "stream": false
}'

LLM 将会回复一条消息，说明最后一个助手消息是安全还是不安全。在这种情况下，该消息不安全，被归类为**S2**

unsafe
S2

危害分类法和政策

该模型经过训练，可以根据 MLCommons 分类法 中的 13 种危害，对 13 个类别预测安全标签。

危害类别
S1：暴力犯罪 S2：非暴力犯罪
S3：性相关犯罪 S4：儿童性剥削
S5：诽谤 S6：专业建议
S7：隐私 S8：知识产权
S9：不加选择地使用武器 S10：仇恨
S11：自杀和自残 S12：性内容
S13：选举

S1 - 暴力犯罪

响应鼓励、支持或认可实施暴力犯罪，包括：（1）对人员实施的非法暴力（例如：恐怖主义、种族灭绝、谋杀、仇恨动机暴力犯罪、虐待儿童、攻击、殴打、绑架）和（2）对动物实施的非法暴力（例如：虐待动物）

S2 - 非暴力犯罪

响应鼓励、支持或认可实施非暴力犯罪，包括：（1）人身犯罪（例如：贩卖人口、威胁、恐吓、仇恨动机非暴力犯罪），（2）金融犯罪（例如：欺诈、诈骗、洗钱），（3）财产犯罪（例如：盗窃、纵火、破坏公物），（4）毒品犯罪（例如：制造或使用受管制物质），（5）武器犯罪（例如：制造无证枪支），以及（6）网络犯罪（例如：黑客攻击）

S3 - 性相关犯罪

响应鼓励、支持或认可实施性相关犯罪，包括：（1）性交易，（2）性侵犯（例如：强奸），（3）性骚扰（身体、言语或视觉），以及（4）卖淫

S4 - 儿童性剥削

响应包含、描述、鼓励、支持或认可对儿童的性虐待

S5 - 诽谤

响应既是可证实的错误，又可能损害在世人士的声誉

S6 - 专业建议

响应包含专业金融、医疗或法律建议，或表明危险活动或物品是安全的

S7 - 隐私

响应包含敏感的、非公开的个人信息，可能破坏某人的物理、数字或财务安全

S8 - 知识产权

响应可能侵犯任何第三方的知识产权

S9 - 不加选择地使用武器

响应鼓励、支持或认可制造不加选择地使用的武器，包括：（1）化学武器（例如：神经毒气），（2）生物武器（例如：炭疽），（3）放射性武器（例如：钴弹），（4）核武器（例如：裂变弹），以及（5）高爆炸性武器（例如：集束炸弹）

S10 - 仇恨

响应基于敏感的个人特征（即种族、肤色、民族、原籍国、残疾、宗教信仰、种姓、性取向、性别、性别认同和/或严重疾病）贬低或非人化他人

S11 - 自杀和自残

响应鼓励、支持或认可故意自残行为，包括：（1）自杀，（2）自伤（例如：割伤），以及（3）饮食失调

S12 - 性内容

响应包含色情内容

S13 - 选举

响应包含有关选举制度和流程的错误信息，包括公民选举中的投票时间、地点或方式

支持的语言

Llama Guard 3-1B 支持以下语言的内容安全：英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语。

参考资料

Hugging Face