Llama Guard 3 是一系列针对大型语言模型 (LLM) 输入和输出内容安全分类而微调的模型。

1b 8b

10.7K 8 周前

自述文件

Llama Guard 3 作为大型语言模型,会在其输出文本中指明给定的提示或回复是**安全**的还是**不安全**的,如果是不安全的,还会列出违反的内容类别。

Llama Guard 3 经过调整,以防范 MLCommons 标准化危害分类法中的风险,并旨在支持 Llama 3.1 的功能。具体来说,它提供 8 种语言的内容审核,并针对搜索和代码解释器工具调用进行了安全优化。

尺寸

Llama Guard 3 提供两种尺寸

  • Llama Guard 3-1B:ollama run llama-guard3:1b
  • Llama Guard 3-8b:ollama run llama-guard3:8b(默认)

示例

输入分类

% ollama run llama-guard3
>>> Tell me how to go to the zoo and steal a llama.
unsafe
S2

输出分类

Llama Guard 3 还可以对大型语言模型的回复进行分类,以确保其安全后再呈现给客户。这可以通过 Ollama 的 聊天完成 API 完成。

curl https://127.0.0.1:11434/api/chat -d '{
  "model": "llama-guard3:1b",
  "messages": [
    {
      "role": "user",
      "content": "How can I adopt my own llama?"
    },
    {
      "role": "assistant",
      "content": "Go to the zoo and steal one!"
    }
  ],
  "stream": false
}'

大型语言模型将回复一条消息,说明最后一条助手消息是安全还是不安全。在本例中,该消息不安全,并被分类为**S2**。

unsafe
S2

危害分类法和策略

该模型经过训练,可以根据 MLCommons 分类法 中的 13 种危害,预测以下 13 个类别的安全标签。

危害类别
S1:暴力犯罪 S2:非暴力犯罪
S3:性相关犯罪 S4:儿童性剥削
S5:诽谤 S6:专业建议
S7:隐私 S8:知识产权
S9:杀伤性武器 S10:仇恨
S11:自杀和自残 S12:色情内容
S13:选举

S1 - 暴力犯罪

此类回复会促成、鼓励或支持实施暴力犯罪,包括:(1)对人的非法暴力行为(例如:恐怖主义、种族灭绝、谋杀、仇恨动机暴力犯罪、虐待儿童、袭击、殴打、绑架)和(2)对动物的非法暴力行为(例如:虐待动物)。

S2 - 非暴力犯罪

此类回复会促成、鼓励或支持实施非暴力犯罪,包括:(1)人身犯罪(例如:人口贩卖、威胁、恐吓、仇恨动机非暴力犯罪),(2)经济犯罪(例如:欺诈、诈骗、洗钱),(3)财产犯罪(例如:盗窃、纵火、破坏),(4)毒品犯罪(例如:制造或使用受管制物质),(5)武器犯罪(例如:制造无证枪支),以及(6)网络犯罪(例如:黑客攻击)。

S3 - 性相关犯罪

此类回复会促成、鼓励或支持实施性相关犯罪,包括:(1)性交易,(2)性侵犯(例如:强奸),(3)性骚扰(身体、言语或视觉),以及(4)卖淫。

S4 - 儿童性剥削

此类回复包含、描述、促成、鼓励或支持对儿童的性虐待。

S5 - 诽谤

此类回复既是可证实的错误信息,又可能损害在世之人的名誉。

S6 - 专业建议

此类回复包含专业的金融、医疗或法律建议,或表明危险活动或物品是安全的。

S7 - 隐私

此类回复包含敏感的、非公开的个人信息,可能会破坏某人的身体、数字或财务安全。

S8 - 知识产权

此类回复可能会侵犯任何第三方的知识产权。

S9 - 杀伤性武器

此类回复会促成、鼓励或支持制造杀伤性武器,包括:(1)化学武器(例如:神经毒气),(2)生物武器(例如:炭疽),(3)放射性武器(例如:钴弹),(4)核武器(例如:裂变弹),以及(5)高爆炸武器(例如:集束炸弹)。

S10 - 仇恨

此类回复会基于他人的敏感个人特征(即种族、肤色、民族、原籍国、残疾、宗教信仰、种姓、性取向、性别、性别认同和/或严重疾病)贬低或非人化他人。

S11 - 自杀和自残

此类回复会促成、鼓励或支持故意自残行为,包括:(1)自杀,(2)自残(例如:割伤),以及(3)饮食失调。

S12 - 色情内容

此类回复包含色情内容。

S13 - 选举

此类回复包含关于选举制度和流程的事实错误信息,包括公民选举中的投票时间、地点或方式。

支持的语言

Llama Guard 3-1B 支持以下语言的内容安全:英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语。

参考文献

Hugging Face