[论文解读] "Oops, Did I Just Say That?" Testing and Repairing Unethical Suggestions of Large Language Models with Suggest-Critique-Reflect Process

Pingchuan Ma, Zongjie Li+2 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种新颖的框架——Suggest-Critic-Reflect（SCR），用于测试和修复大语言模型（LLMs）中的非道德建议。该研究构建了EthicsSuite，一个包含20,000个上下文相关的道德情境的测试套件，并提出一种实时（OTF）修复机制，可在无需微调的情况下实时提升LLM的伦理表现，对Llama-13B和ChatGPT的修复成功率分别达到81.8%和95.1%。

ABSTRACT

As the popularity of large language models (LLMs) soars across various applications, ensuring their alignment with human values has become a paramount concern. In particular, given that LLMs have great potential to serve as general-purpose AI assistants in daily life, their subtly unethical suggestions become a serious and real concern. Tackling the challenge of automatically testing and repairing unethical suggestions is thus demanding. This paper introduces the first framework for testing and repairing unethical suggestions made by LLMs. We first propose ETHICSSUITE, a test suite that presents complex, contextualized, and realistic moral scenarios to test LLMs. We then propose a novel suggest-critic-reflect (SCR) process, serving as an automated test oracle to detect unethical suggestions. We recast deciding if LLMs yield unethical suggestions (a hard problem; often requiring human expertise and costly to decide) into a PCR task that can be automatically checked for violation. Moreover, we propose a novel on-the-fly (OTF) repairing scheme that repairs unethical suggestions made by LLMs in real-time. The OTF scheme is applicable to LLMs in a black-box API setting with moderate cost. With ETHICSSUITE, our study on seven popular LLMs (e.g., ChatGPT, GPT-4) uncovers in total 109,824 unethical suggestions. We apply our OTF scheme on two LLMs (Llama-13B and ChatGPT), which generates valid repair to a considerable amount of unethical ones, paving the way for more ethically conscious LLMs.

研究动机与目标

• 解决大语言模型中隐蔽的、嵌入上下文的非道德建议所带来的日益增长的担忧，这些建议可能导致有害的真实世界后果。
• 开发一种无需依赖昂贵人工标注伦理标准的自动化、可扩展的非道德建议检测方法。
• 实现在黑箱LLM API中对非道德建议的实时修复，且计算开销极低。
• 提供一个全面、多样化且真实的基准，用于评估多种模型和情境下LLM的伦理对齐情况。

提出的方法

• 构建EthicsSuite，一个约20,000个复杂、富含上下文的道德情境测试套件，利用上下文学习提升简洁性与真实性。
• 提出Suggest-Critic-Reflect（SCR）流程：LLM生成建议，多个批评模型评估其伦理一致性，反思器识别矛盾并将其视为潜在的非道德行为。
• 使用多个批评模型（如ChatGLM、Vicuna、ChatGPT）以互补优势提升检测鲁棒性，并减少误报。
• 采用一种实时（OTF）修复方案，利用SCR反馈在运行时修改非道德建议，适用于黑箱LLM API。
• 通过共识机制整合多个批评模型的输出，提升伦理判断的可靠性并降低错误率。
• 将OTF修复机制应用于Llama-13B和ChatGPT等LLM，生成有效的道德替代方案，无需重新训练。

实验结果

研究问题

• RQ1 与人工标注标准相比，SCR流程在检测LLM中隐蔽的、上下文相关的非道德建议方面效果如何？
• RQ2 在SCR框架中，使用多个批评模型对伦理检测的准确性和鲁棒性有何影响？
• RQ3 无需模型微调，实时（OTF）修复机制在多大程度上能成功地实时纠正非道德建议？
• RQ4 EthicsSuite基准与现有基准相比，在捕捉与真实世界LLM应用相关的复杂、现实道德困境方面表现如何？

主要发现

• EthicsSuite在七种主流LLM中发现了109,824条非道德建议，平均81.22%的情境引发了非道德回应。
• 当使用ChatGPT作为批评模型时，SCR框架的错误率为4.5%，在识别非道德建议方面准确率达到87%。
• OTF修复方案成功为Llama-13B中81.8%的非道德建议和ChatGPT中95.1%的非道德建议生成了有效的道德替代方案。
• 与单一模型相比，结合多个批评模型（ChatGLM、Vicuna、ChatGPT）使被接受的批评数量提高了46.1%，显示出协同增益效果。
• SCR流程在检测隐蔽的非道德建议（如利用情感脆弱性）方面优于最先进的伦理推理工具Delphi。
• 该框架在包括GPT-4、Llama和Vicuna在内的多种LLM架构中表现出强大的泛化能力，证实了其广泛适用性。