[论文解读] Scalable and Transferable Black-Box Jailbreaks for Language Models via Persona Modulation

Rusheb Shah, Quentin Feuillade--Montixi+4 more|ArXiv.org|Nov 6, 2023

Ethics and Social Impacts of AI被引用 9

一句话总结

论文提出将自动化人格调控攻击作为一种黑箱越狱方法，以诱导大语言模型的有害行为，并展示在 GPT-4、Claude 2、Vicuna 之间的可迁移性，同时提供一种半自动化的人机协同变体。

ABSTRACT

Despite efforts to align large language models to produce harmless responses, they are still vulnerable to jailbreak prompts that elicit unrestricted behaviour. In this work, we investigate persona modulation as a black-box jailbreaking method to steer a target model to take on personalities that are willing to comply with harmful instructions. Rather than manually crafting prompts for each persona, we automate the generation of jailbreaks using a language model assistant. We demonstrate a range of harmful completions made possible by persona modulation, including detailed instructions for synthesising methamphetamine, building a bomb, and laundering money. These automated attacks achieve a harmful completion rate of 42.5% in GPT-4, which is 185 times larger than before modulation (0.23%). These prompts also transfer to Claude 2 and Vicuna with harmful completion rates of 61.0% and 35.9%, respectively. Our work reveals yet another vulnerability in commercial large language models and highlights the need for more comprehensive safeguards.

研究动机与目标

• 研究在黑箱设置下，人格调控是否能让最先进的对齐LLM被越狱。
• 开发一个使用LLM助手生成针对多种有害人格的越狱提示的自动化工作流程。
• 评估自动化提示对其他模型（Claude 2、Vicuna）的可迁移性并测量有害率。
• 在完全自动化、半自动化和手动方法之间权衡在有效性与工作量上的差异。

提出的方法

• 定义一个目标有害类别和一个滥用指令。
• 使用LLM助手自动化生成人物设定和人物调控提示。
• 使用PICT分类器评估完成是否有害。
• 在 GPT-4、Claude 2、Vicuna 上评估有害率，比较是否有人物调控的情况。
• 引入半自动化攻击并带有人在环以提高效果并缩短时间。

实验结果

研究问题

• RQ1 自动化的人格调控提示在黑箱设置下是否能在顶级LLM中诱导有害完成？
• RQ2 人格调控提示是否能迁移到 Claude 2 与 Vicuna，效果如何？
• RQ3 半自动化、人在环的调控在性能与工作量方面与全自动化和手动方法相比如何？
• RQ4 当前分类器（PICT）在检测此类攻击中的有害输出方面存在哪些局限性？

主要发现

• 自动化人格调控在 GPT-4 上的有害完成率为 42.48%，基线无调控时为 0.23%。
• 迁移到 Claude 2 的有害完成率为 61.03%，Vicuna 为 35.92%，显示方法的跨模型有效性。
• 在不同模型中，针对 xenophobia、sexism、disinformation 等类别，有害完成率提升（如 xenophobia 96.30%、sexism 80.74%、disinformation 82.96%）。
• 带有人在环的半自动化人物调控可在时间缩短高达 25x 的情况下恢复手动水平的表现。
• 手动、半自动化与自动化方法在时间与输出质量上存在差异，自动化仅耗时几秒但有时有害率较低。