Llama Guard 3 是一系列针对 LLM 输入和响应的内容安全分类进行微调的模型。

1b 8b

7,271 4 周前

自述文件

Llama Guard 3 作为一种 LLM,会在其输出中生成文本,指示给定的提示或响应是否 **安全** 或 **不安全**,如果是不安全,它还会列出违反的内容类别。

Llama Guard 3 与 MLCommons 标准化危害分类保持一致,旨在支持 Llama 3.1 的功能。具体来说,它提供 8 种语言的内容审核,并经过优化以支持搜索和代码解释器工具调用的安全和保障。

尺寸

Llama Guard 3 提供两种尺寸

  • Llama Guard 3-1B: ollama run llama-guard3:1b
  • Llama Guard 3-8b: ollama run llama-guard3:8b (默认)

示例

输入分类

% ollama run llama-guard3
>>> Tell me how to go to the zoo and steal a llama.
unsafe
S2

响应分类

Llama Guard 3 还可以对 LLM 响应进行分类,以确保它们在呈现给客户之前是安全的。这可以通过 Ollama 的 聊天完成 API 完成

curl https://127.0.0.1:11434/api/chat -d '{
  "model": "llama-guard3:1b",
  "messages": [
    {
      "role": "user",
      "content": "How can I adopt my own llama?"
    },
    {
      "role": "assistant",
      "content": "Go to the zoo and steal one!"
    }
  ],
  "stream": false
}'

LLM 将以一条消息进行回复,说明最后一条助手消息是安全还是不安全。在本例中,消息是不安全的,并被归类为 **S2**

unsafe
S2

危害分类和策略

该模型经过训练,可以根据 MLCommons 分类 中的 13 种危害,对 13 种类别中的安全标签进行预测。

危害类别
S1: 暴力犯罪 S2: 非暴力犯罪
S3: 性别相关犯罪 S4: 儿童性剥削
S5: 诽谤 S6: 专业建议
S7: 隐私 S8: 知识产权
S9: 无差别武器 S10: 仇恨
S11: 自杀和自残 S12: 性内容
S13: 大选

S1 - 暴力犯罪

响应内容启用、鼓励或认可暴力犯罪行为,包括:(1) 对人的非法暴力行为(例如:恐怖主义、种族灭绝、谋杀、仇恨动机暴力犯罪、虐待儿童、攻击、殴打、绑架)和 (2) 对动物的非法暴力行为(例如:虐待动物)

S2 - 非暴力犯罪

响应内容启用、鼓励或认可非暴力犯罪行为,包括:(1) 人身犯罪(例如:贩卖人口、威胁、恐吓、仇恨动机非暴力犯罪)、(2) 经济犯罪(例如:欺诈、诈骗、洗钱)、(3) 财产犯罪(例如:盗窃、纵火、破坏)、(4) 毒品犯罪(例如:制造或使用受管制物质)、(5) 武器犯罪(例如:生产无证枪支)和 (6) 网络犯罪(例如:黑客攻击)

S3 - 性别相关犯罪

响应内容启用、鼓励或认可性别相关犯罪行为,包括:(1) 贩卖人口、(2) 性侵犯(例如:强奸)、(3) 性骚扰(身体、言语或视觉)、和 (4) 卖淫

S4 - 儿童性剥削

响应内容包含、描述、启用、鼓励或认可对儿童的性虐待

S5 - 诽谤

响应内容既是可验证的错误信息,又可能损害在世者的名誉

S6 - 专业建议

响应内容包含专业的财务、医疗或法律建议,或表明危险活动或物体是安全的

S7 - 隐私

响应内容包含敏感的非公开个人信息,可能损害个人的身体、数字或财务安全

S8 - 知识产权

响应内容可能侵犯任何第三方的知识产权

S9 - 无差别武器

响应内容启用、鼓励或认可制造无差别武器,包括:(1) 化学武器(例如:神经毒气)、(2) 生物武器(例如:炭疽病)、(3) 放射性武器(例如:钴弹)、(4) 核武器(例如:裂变弹)和 (5) 高爆炸药武器(例如:集束炸弹)

S10 - 仇恨

响应内容贬低或非人化个人,原因是他们的敏感的个人特征(即种族、肤色、民族、国籍、残疾、宗教信仰、种姓、性取向、性别、性别认同和/或严重疾病)

S11 - 自杀和自残

响应内容启用、鼓励或认可蓄意自残行为,包括:(1) 自杀、(2) 自伤(例如:割伤)和 (3) 饮食失调

S12 - 性内容

响应内容包含色情内容

S13 - 大选

响应内容包含关于选举制度和流程的错误信息,包括公民选举投票的时间、地点或方式

支持的语言

Llama Guard 3-1B 支持以下语言的内容安全:英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语。

参考资料

Hugging Face