[论文解读] The Science of Detecting LLM-Generated Texts

Ruixiang Tang, Yu-Neng Chuang+1 more|arXiv (Cornell University)|Feb 4, 2023

Natural Language Processing Techniques被引用 50

一句话总结

本综述评估用于检测 LLM 生成文本的黑盒与白盒方法，讨论特征、数据集、水印技术及自适应攻击，并概述未来的研究方向。

ABSTRACT

The emergence of large language models (LLMs) has resulted in the production of LLM-generated texts that is highly sophisticated and almost indistinguishable from texts written by humans. However, this has also sparked concerns about the potential misuse of such texts, such as spreading misinformation and causing disruptions in the education system. Although many detection approaches have been proposed, a comprehensive understanding of the achievements and challenges is still lacking. This survey aims to provide an overview of existing LLM-generated text detection techniques and enhance the control and regulation of language generation models. Furthermore, we emphasize crucial considerations for future research, including the development of comprehensive evaluation metrics and the threat posed by open-source LLMs, to drive progress in the area of LLM-generated text detection.

研究动机与目标

• 总结现有用于检测 LLM 生成文本的黑盒与白盒方法。
• 识别用于检测的数据来源和特征类型。
• 讨论评估指标、基准和实际局限性。
• 探索白盒水印以及事后/推理时水印技术。
• 突出自适应攻击及检测领域的未来研究方向。

提出的方法

• 概述用于 LLM 生成文本和人工撰写文本的数据获取策略。
• 讨论检测特征，包括统计、语言学和事实核验信号。
• 回顾用于检测的传统与深度学习分类模型。
• 解释白盒水印方法（事后和推理时）及其权衡。
• 描述与检测相关的基准数据集和评估结果。
• 分析自适应攻击及检测器的鲁棒性考量。

实验结果

研究问题

• RQ1 检测 LLM 生成文本的主要方法是什么（黑盒 vs 白盒），及其相对优势/劣势？
• RQ2 在各种条件下，哪些特征与模型在区分 LLM 生成文本和人类撰写文本方面有效？
• RQ3 水印技术（事后和推理时）如何实现 LLM 输出的可溯源性，以及它们的取舍？
• RQ4 存在哪些用于评估检测器的数据集和基准，检测器在它们上的表现如何？
• RQ5 哪些自适应攻击威胁检测器，以及如何使检测系统更鲁棒？

主要发现

• 黑盒检测器依赖数据收集、特征选择和分类器来区分 LLM 与人类文本，性能取决于数据质量和领域覆盖。
• 统计、语言学和事实核验特征为检测提供信号，类似 GLTR 的工具展示单词排序模式，困惑度用于区分。
• 白盒水印提供事后和推理时嵌入与验证水印的策略，但会在文本质量和鲁棒性之间取舍。
• 基准数据集（如 HC3）可进行评估，在 HC3 设置中，基于 RoBERTa 的检测器在英语段落级和句子级检测上取得了较强的结果。
• 自适应改写攻击可能显著降低检测器性能，包括推理时水印和 RoBERTa 基于的检测器。
• 作者提醒数据集偏差、置信度校准需求，以及随着 LLMs 的提升威胁形势的演变。