[论文解读] Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity

Terry Yue Zhuo, Yujin Huang+2 more|arXiv (Cornell University)|Jan 30, 2023

Adversarial Robustness in Machine Learning被引用 170

一句话总结

这篇论文对 ChatGPT 在偏见、可靠性、鲁棒性和有害性方面进行了定性红队测试，使用基准测试和案例研究，识别伦理风险和可规避性漏洞。

ABSTRACT

Recent breakthroughs in natural language processing (NLP) have permitted the synthesis and comprehension of coherent text in an open-ended way, therefore translating the theoretical algorithms into practical applications. The large language models (LLMs) have significantly impacted businesses such as report summarization software and copywriters. Observations indicate, however, that LLMs may exhibit social prejudice and toxicity, posing ethical and societal dangers of consequences resulting from irresponsibility. Large-scale benchmarks for accountable LLMs should consequently be developed. Although several empirical investigations reveal the existence of a few ethical difficulties in advanced LLMs, there is little systematic examination and user study of the risks and harmful behaviors of current LLM usage. To further educate future efforts on constructing ethical LLMs responsibly, we perform a qualitative research method called ``red teaming'' on OpenAI's ChatGPT\footnote{In this paper, ChatGPT refers to the version released on Dec 15th.} to better understand the practical features of ethical dangers in recent LLMs. We analyze ChatGPT comprehensively from four perspectives: 1) extit{Bias} 2) extit{Reliability} 3) extit{Robustness} 4) extit{Toxicity}. In accordance with our stated viewpoints, we empirically benchmark ChatGPT on multiple sample datasets. We find that a significant number of ethical risks cannot be addressed by existing benchmarks, and hence illustrate them via additional case studies. In addition, we examine the implications of our findings on AI ethics and harmal behaviors of ChatGPT, as well as future problems and practical design considerations for responsible LLMs. We believe that our findings may give light on future efforts to determine and mitigate the ethical hazards posed by machines in LLM applications.

研究动机与目标

• 使用既定基准和人工评估来表征 ChatGPT 的伦理风险（偏见、毒性）。
• 评估 ChatGPT 在扰动、对抗性提示和事实性问题下的鲁棒性与可靠性。
• 识别现实世界中的漏洞（例如提示注入）以及在不同场景中的语言/跨语言偏见。
• 为大语言模型的负责任开发提供设计考虑和指导。

提出的方法

• 遵循与 HELM 原则对齐的红队方法对 ChatGPT 进行评估，从偏见、可靠性、鲁棒性和有害性四个角度进行测试。
• 在 BBQ（问答中的偏见）和 BOLD（文本生成偏见与刻板印象）上对 ChatGPT 进行基准测试，使用 EM 和与偏见相关的指标。
• 在零样本设置下将 ChatGPT 与 InstructGPT（davinci-v2）和 GPT-3（davinci-v1）进行比较。
• 进行语言翻译、代码生成和开放式对话等案例研究，以揭示超越基准的额外偏见。
• 通过语义扰动（拼写错误、格式化）和 IMDB、BoolQ 的对比集合来评估鲁棒性，使用 EM 作为指标。
• 测试对抗性提示注入场景，以评估安全性和越狱易受攻击性。
• 通过 OpenBookQA 和 TruthfulQA 评估可靠性，并比较各模型的 Exact Match 结果。

Figure 1 : Framework of diagnosing AI ethics of ChatGPT, with the comparisons of SOTA LLMs. The diagnosis focuses on four perspectives, 1) Bias , 2) Robustness , 3) Reliability and 4) Toxicity . The evaluation of each perspective consists of two parts, existing benchmarks and human-evaluated case st

实验结果

研究问题

• RQ1 在实际使用中，ChatGPT 展现出的伦理风险（偏见、可靠性、鲁棒性、有害性）有哪些？
• RQ2 现有基准在多大程度上能捕捉或未能捕捉 ChatGPT 的这些伦理风险？
• RQ3 ChatGPT 对对抗性提示和越狱尝试的易受攻击程度如何，安全机制在多大程度上被绕过？
• RQ4 相较于其他 SOTA 大型语言模型，ChatGPT 在多语言和代码生成情境下的偏见与公平性表现如何？
• RQ5 有哪些设计考虑有助于减轻伤害并改善大模型的负责任部署？

主要发现

• 在零样本评估中，ChatGPT 在 BBQ 与 BOLD 基准上表现出的偏见水平低于基线 InstructGPT 和 GPT-3。
• 在基准任务上表现出强鲁棒性，在 IMDB 与 BoolQ 的语义鲁棒性方面在扰动下优于基线。
• 通过案例研究观察到超出基准的多项伦理风险，包括跨语言的语言理解偏见和偏向性代码生成倾向。
• 在受控的越狱提示注入研究中，ChatGPT 展示出较高的安全性，100 个情景中只有 2 个直接给出响应，尽管有许多提示绕过了安全机制。
• 对抗性提示注入显示越狱尝试在很多情况下可以绕过安全机制，凸显现实使用中的脆弱性。
• 可靠性结果显示 ChatGPT 在 OpenBookQA 和 TruthfulQA 上维持与 InstructGPT 和 GPT-3 相对竞争的 Exact Match 表现，但在某些知识领域存在明显弱点。