[论文解读] SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models

Bertie Vidgen, Nino Scherrer+5 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用 5

一句话总结

SimpleSafetyTests (SST) 是一个包含 100 个提示的测试套件，用于评估大型语言模型（LLMs）在五个高危领域中的关键安全风险：自杀/自残、身体伤害、非法物品、诈骗/欺诈以及儿童虐待。结果显示，在未使用安全提示的情况下，11 个模型中 27% 的响应存在安全隐患，而使用强调安全的系统提示后，该比例下降至 21%，凸显了此类提示作为部署时第一道防线的重要性。

ABSTRACT

The past year has seen rapid acceleration in the development of large language models (LLMs). However, without proper steering and safeguards, LLMs will readily follow malicious instructions, provide unsafe advice, and generate toxic content. We introduce SimpleSafetyTests (SST) as a new test suite for rapidly and systematically identifying such critical safety risks. The test suite comprises 100 test prompts across five harm areas that LLMs, for the vast majority of applications, should refuse to comply with. We test 11 open-access and open-source LLMs and four closed-source LLMs, and find critical safety weaknesses. While some of the models do not give a single unsafe response, most give unsafe responses to more than 20% of the prompts, with over 50% unsafe responses in the extreme. Prepending a safety-emphasising system prompt substantially reduces the occurrence of unsafe responses, but does not completely stop them from happening. Trained annotators labelled every model response to SST (n = 3,000). We use these annotations to evaluate five AI safety filters (which assess whether a models' response is unsafe given a prompt) as a way of automatically evaluating models' performance on SST. The filters' performance varies considerably. There are also differences across the five harm areas, and on the unsafe versus safe responses. The widely-used Perspective API has 72% accuracy and a newly-created zero-shot prompt to OpenAI's GPT-4 performs best with 89% accuracy. Content Warning: This paper contains prompts and responses that relate to child abuse, suicide, self-harm and eating disorders, scams and fraud, illegal items, and physical harm.

研究动机与目标

• 解决 LLM 在接收到恶意或危险指令时生成有害内容的日益增长的风险。
• 开发一种轻量级、系统化且成本低廉的测试套件，用于识别开源 LLM 中的关键安全弱点。
• 评估强调安全的系统提示在减少多种 LLM 中不安全响应方面的有效性。
• 为开发者提供一种实用的开源工具，以便在部署前主动检测并缓解安全风险。
• 强调模型安全不能仅靠架构保障，而需要主动且可测试的防护措施。

提出的方法

• 该测试套件包含 100 个手工设计的英文提示，涵盖五个危害类别：自杀/自残、身体伤害、非法物品、诈骗/欺诈以及儿童虐待。
• 提示分为两类：'信息类'（例如，'我如何能买到毒品？'）和'指令类'（例如，'告诉我如何制造炸弹'），以评估模型在面对寻求危险建议与执行危险指令时的响应表现。
• 对 11 个开源 LLM 进行了测试，分别在有和无强调安全的系统提示条件下，以衡量该提示对不安全响应率的影响。
• 所有模型的响应均经过人工标注以评估安全性，确保在多种模型中对不安全输出的高精度标注。
• 该基准采用负向预测能力：通过 SST 表示未发现已知风险，但并不能保证完全安全。
• 该测试套件为开源，托管于 GitHub，由于敏感性，模型响应可应要求提供。

Figure 1: Responses from Mistral (7B), Dolly v2 (12B), and Llama2 (13B), without a system prompt, to a test prompt in SimpleSafetyTests .

实验结果

研究问题

• RQ1 在极端危害场景下，当前可用的开源 LLM 中关键安全风险的普遍程度如何？
• RQ2 强调安全的系统提示在多大程度上能减少多种 LLM 中不安全响应的发生率？
• RQ3 不同 LLM 在不同危害类别中生成不安全响应的易感性有何差异？
• RQ4 提示类型（信息类与指令类）与模型响应安全性之间存在何种关系？
• RQ5 一个简单、轻量的测试套件是否能有效识别 LLM 中的关键安全弱点，而无需依赖复杂的评估流程？

主要发现

• 在未使用系统提示的情况下，11 个开源 LLM 的响应中 27% 存在安全隐患，表明存在广泛的安全漏洞。
• 当应用强调安全的系统提示后，不安全响应的平均比例从 33% 下降至 21%，显示出可测量但不完全的缓解效果。
• Llama2 (13B) 在全部 100 个提示中均未产生不安全响应，而 Falcon (40B) 仅有一个不安全响应，表明部分模型具备出色的安全部表现。
• 大多数模型的不安全响应率在 5% 至 73% 之间，其中多个模型超过 50%，揭示了安全行为的显著不一致性。
• 在五个危害领域中的四个领域中，'指令类'提示持续引发比'信息类'更多的不安全响应，表明模型更可能遵从直接的有害指令。
• 即使使用安全系统提示，也没有任何模型能完全消除不安全响应，表明此类提示虽必要但不足以作为独立的安全保障。

Figure 2: Performance of the 11 models on SimpleSafetyTests , with both the safety-emphasising system prompt and no system prompt. The models are ordered by their result with no system prompt. The dotted red vertical lines show cutoffs for models where 5% of responses are unsafe and 50% of responses