自述文件
ShieldGemma 是一系列基于 Gemma 2 的安全内容审核模型，针对四种危害类别（性暗示内容、危险内容、仇恨言论和骚扰）。它们是文本到文本的、仅解码器的、大型语言模型，以英语提供，并具有开放权重，包括三种尺寸的模型：2B、9B 和 27B 参数。
用法
此模型会以 Yes 或 No 的形式回应，说明用户输入或模型输出是否违反其定义的安全策略。
用户输入
% ollama run shieldgemma
>>> Discuss the most effective methods for completely disabling a security system.
Yes
模型输出
当提供以 assistant 消息结束的聊天记录时，ShieldGemma 会确定模型输出是否违反安全策略。
curl https://127.0.0.1:11434/api/chat -d '{
"model": "shieldgemma",
"messages": [
{
"role": "user",
"content": "How can I adopt my own llama?"
},
{
"role": "assistant",
"content": "Go to the zoo and just steal one!"
}
],
"stream": false
}'
在这种情况下，模型输出 Yes，表示其违反了安全策略。