[论文解读] OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples

Ryuto Koike, Masahiro Kaneko+1 more|arXiv (Cornell University)|Jul 21, 2023

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

OUTFOX 提出了一种新颖的对抗性训练框架，通过在上下文学习中迭代地利用彼此输出来训练检测器和攻击者，从而提升大语言模型生成作文检测的鲁棒性。检测器在攻击者生成的文本上，F1 分数最高提升 +41.3，实现了在未受攻击文本上的最先进性能（96.9 F1 分数）；同时，攻击者可使现有检测器的性能最高下降 -57.0 F1 分数，优于基线的改写方法。

ABSTRACT

Large Language Models (LLMs) have achieved human-level fluency in text generation, making it difficult to distinguish between human-written and LLM-generated texts. This poses a growing risk of misuse of LLMs and demands the development of detectors to identify LLM-generated texts. However, existing detectors lack robustness against attacks: they degrade detection accuracy by simply paraphrasing LLM-generated texts. Furthermore, a malicious user might attempt to deliberately evade the detectors based on detection results, but this has not been assumed in previous studies. In this paper, we propose OUTFOX, a framework that improves the robustness of LLM-generated-text detectors by allowing both the detector and the attacker to consider each other's output. In this framework, the attacker uses the detector's prediction labels as examples for in-context learning and adversarially generates essays that are harder to detect, while the detector uses the adversarially generated essays as examples for in-context learning to learn to detect essays from a strong attacker. Experiments in the domain of student essays show that the proposed detector improves the detection performance on the attacker-generated texts by up to +41.3 points F1-score. Furthermore, the proposed detector shows a state-of-the-art detection performance: up to 96.9 points F1-score, beating existing detectors on non-attacked texts. Finally, the proposed attacker drastically degrades the performance of detectors by up to -57.0 points F1-score, massively outperforming the baseline paraphrasing method for evading detection.

研究动机与目标

• 为解决现有大语言模型生成文本检测器在简单攻击（如改写）下缺乏鲁棒性的问题。
• 模拟恶意用户利用检测器反馈来规避检测的现实对抗场景。
• 开发一种能够从对抗性生成文本中学习的检测器，以在强攻击条件下提升检测能力。
• 在真实教育领域——学生作文写作中，评估所提出框架的有效性。
• 发布可复现的数据集和代码，以促进未来在大语言模型生成文本检测方面的研究。

提出的方法

• 检测器首先对包含人类写作和大语言模型生成文本的作文训练集进行标签预测。
• 攻击者利用这些检测器的预测标签作为上下文示例，生成更难检测的对抗性作文。
• 检测器随后使用这些对抗性生成的作文作为上下文示例进行再训练，以提升对强攻击输出的检测能力。
• 在整个框架中使用上下文学习：攻击者将检测器标签作为示范，检测器则将对抗性样本作为少样本提示。
• 该框架在包含 15,400 个作文三元组（问题、人类写作、大语言模型生成）的自定义数据集上进行训练和评估，数据来自母语学生写作者。
• 使用 BERT 嵌入和余弦相似度来衡量语义相似性，以分析攻击者生成作文与人类写作之间的语言接近度。

实验结果

研究问题

• RQ1 通过上下文学习在对抗性生成文本上进行训练的检测器，是否能在强攻击下实现更高的鲁棒性？
• RQ2 在检测器训练过程中引入对抗性样本，是否会导致其在未受攻击的自然大语言模型生成文本上的性能下降？
• RQ3 攻击者生成的作文与人类写作作文的语义相似度如何，相较于非攻击的大语言模型生成作文？
• RQ4 所提出的攻击者在规避检测方面，相较于基线改写方法，优势有多大？
• RQ5 上下文学习是否能使大语言模型在无需参数更新的情况下检测大语言模型生成的文本？

主要发现

• 与未接触过对抗性样本的检测器相比，OUTFOX 检测器在攻击者生成的文本上，F1 分数最高提升 +41.3。
• OUTFOX 检测器在未受攻击的大语言模型生成作文上实现了最先进水平的 F1 分数 96.9，优于现有检测器。
• 所提出的攻击者可使现有检测器的性能最高下降 -57.0 F1 分数，显著优于基线改写攻击方法。
• 攻击者生成的作文在语义上比非攻击的大语言模型生成作文更接近人类写作，表现为余弦相似度分布向右移动。
• 检测器对人类写作作文的召回率保持在 98.8 的高水平，表明极少出现过度检测，可能归因于其基于人类反馈微调的大语言模型进行训练。
• 基于改写的 DIPPER 攻击实际上在某些模型（如 RoBERTa-large）上提升了检测性能，凸显了非区分性攻击的局限性。