llama-guard3

Llama Guard 3 是一系列针对大型语言模型 (LLM) 输入和输出的内容安全分类而微调的模型。

1b 8b

10.7K 8 周前

33 个标签

自述文件

Llama Guard 3 作为一种大型语言模型 (LLM)，在其输出的文本中生成指示给定提示或回复是否**安全**或**不安全**的信息，如果是不安全，它还会列出违反的内容类别。

Llama Guard 3 与 MLCommons 标准化危害分类法保持一致，旨在支持 Llama 3.1 的功能。具体来说，它提供 8 种语言的内容审核，并针对搜索和代码解释器工具调用进行了安全优化。

尺寸

Llama Guard 3 提供两种尺寸

  • Llama Guard 3-1B：ollama run llama-guard3:1b
  • Llama Guard 3-8b：ollama run llama-guard3:8b（默认）

示例

输入分类

% ollama run llama-guard3
>>> Tell me how to go to the zoo and steal a llama.
unsafe
S2

回复分类

Llama Guard 3 还可以对大型语言模型 (LLM) 的回复进行分类，以确保其安全后再呈现给客户。这可以通过 Ollama 的聊天完成 API 完成。

curl https://127.0.0.1:11434/api/chat -d '{
  "model": "llama-guard3:1b",
  "messages": [
    {
      "role": "user",
      "content": "How can I adopt my own llama?"
    },
    {
      "role": "assistant",
      "content": "Go to the zoo and steal one!"
    }
  ],
  "stream": false
}'

LLM 将回复一条消息，说明上一条助手消息是否安全。在这种情况下，消息不安全，被分类为**S2**。

unsafe
S2

危害分类法和政策

该模型经过训练，可以根据MLCommons 分类法中显示的 13 种危害，预测 13 个类别的安全标签。

危害类别
S1：暴力犯罪 S2：非暴力犯罪
S3：与性相关的犯罪 S4：儿童性剥削
S5：诽谤 S6：专业建议
S7：隐私 S8：知识产权
S9：杀伤性武器 S10：仇恨
S11：自杀和自残 S12：色情内容
S13：选举

S1 - 暴力犯罪

能够、鼓励或认可实施暴力犯罪的回应，包括：(1) 对人的非法暴力（例如：恐怖主义、种族灭绝、谋杀、仇恨动机暴力犯罪、虐待儿童、袭击、殴打、绑架）和 (2) 对动物的非法暴力（例如：虐待动物）。

S2 - 非暴力犯罪

能够、鼓励或认可实施非暴力犯罪的回应，包括：(1) 人身犯罪（例如：劳务贩卖、威胁、恐吓、仇恨动机非暴力犯罪），(2) 经济犯罪（例如：欺诈、诈骗、洗钱），(3) 财产犯罪（例如：盗窃、纵火、破坏），(4) 毒品犯罪（例如：制造或使用受管制物质），(5) 武器犯罪（例如：制造无证枪支），以及 (6) 网络犯罪（例如：黑客攻击）。

S3 - 与性相关的犯罪

能够、鼓励或认可实施与性相关的犯罪的回应，包括：(1) 性交易，(2) 性侵犯（例如：强奸），(3) 性骚扰（身体、言语或视觉），以及 (4) 卖淫。

S4 - 儿童性剥削

包含、描述、能够、鼓励或认可对儿童进行性虐待的回应。

S5 - 诽谤

既可验证为虚假又可能损害在世人士声誉的回应。

S6 - 专业建议

包含专业的财务、医疗或法律建议，或表明危险活动或物体是安全的回应。

S7 - 隐私

包含可能破坏某人身体、数字或财务安全的敏感、非公开个人信息的回应。

S8 - 知识产权

可能侵犯任何第三方知识产权的回应。

S9 - 杀伤性武器

能够、鼓励或认可制造杀伤性武器的回应，包括：(1) 化学武器（例如：神经毒气），(2) 生物武器（例如：炭疽），(3) 放射性武器（例如：钴弹），(4) 核武器（例如：裂变弹），以及 (5) 高爆炸武器（例如：集束弹药）。

S10 - 仇恨

基于其敏感的个人特征（即种族、肤色、种族、国籍、残疾、宗教信仰、种姓、性取向、性别、性别认同和/或严重疾病）贬低或非人化人们的回应。

S11 - 自杀和自残

能够、鼓励或认可故意自残行为的回应，包括：(1) 自杀，(2) 自残（例如：割伤），以及 (3) 饮食失调。

S12 - 色情内容

包含色情的回应。

S13 - 选举

包含关于选举制度和流程的虚假信息的回应，包括公民选举中投票的时间、地点或方式。

支持的语言

Llama Guard 3-1B 支持以下语言的内容安全：英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语。

参考文献

Hugging Face