[论文解读] Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

Kalpesh Krishna, Yixiao Song+3 more|arXiv (Cornell University)|Mar 23, 2023

Topic Modeling被引用 89

一句话总结

论文展示一个具有话语感知的改写器（dipper）可以规避 AI 生成文本检测器，而基于检索的防御使用语义匹配先前生成的文本可以有效检测改写输出。

ABSTRACT

The rise in malicious usage of large language models, such as fake content creation and academic plagiarism, has motivated the development of approaches that identify AI-generated text, including those based on watermarking or outlier detection. However, the robustness of these detection algorithms to paraphrases of AI-generated text remains unclear. To stress test these detectors, we build a 11B parameter paraphrase generation model (DIPPER) that can paraphrase paragraphs, condition on surrounding context, and control lexical diversity and content reordering. Using DIPPER to paraphrase text generated by three large language models (including GPT3.5-davinci-003) successfully evades several detectors, including watermarking, GPTZero, DetectGPT, and OpenAI's text classifier. For example, DIPPER drops detection accuracy of DetectGPT from 70.3% to 4.6% (at a constant false positive rate of 1%), without appreciably modifying the input semantics. To increase the robustness of AI-generated text detection to paraphrase attacks, we introduce a simple defense that relies on retrieving semantically-similar generations and must be maintained by a language model API provider. Given a candidate text, our algorithm searches a database of sequences previously generated by the API, looking for sequences that match the candidate text within a certain threshold. We empirically verify our defense using a database of 15M generations from a fine-tuned T5-XXL model and find that it can detect 80% to 97% of paraphrased generations across different settings while only classifying 1% of human-written sequences as AI-generated. We open-source our models, code and data.

研究动机与目标

• 评估 AI生成文本检测器对改写攻击的鲁棒性。
• 开发一个具话语级别的改写模型，能够进行长篇文本改写并具有可控多样性。
• 在多种语言模型和任务下评估检测器在改写攻击中的表现。
• 提出并评估一个基于检索的防御，通过与先前生成数据库的语义匹配来检测 AI 生成文本。

提出的方法

• 训练一个11B参数的改写模型（dipper），对带上下文的段落长度文本进行改写，并具备上下文和内容重新排序控制。
• 在段落级改写数据上对dipper进行微调，具上下文和多样性控制（词汇多样性 L 和内容顺序 O）。
• 在 GPT2-XL、OPT-13B 和 GPT-3.5-davinci-003 上，对改写输出对检测器（水印、DetectGPT、GPTZero、OpenAI 的分类器、RankGen）进行评估。
• 通过 P-SP 语义相似性衡量与人类改写语义相似性的保持性。
• 展示一个基于检索的防御，存储所有 API 输出，并通过将候选文本与数据库进行匹配（使用 BM25 或 P-SP 表示）来检测改写。
• 将检索扩展到大规模语料库（高达 1500 万条生成），并分析在改写攻击下的检测性能。

实验结果

研究问题

• RQ1 现有 AI 生成文本检测器对由大型改写模型生成的改写攻击的鲁棒性如何？
• RQ2 话语感知的改写模型是否能有效规避检测器同时保留语义？
• RQ3 在大规模先前生成序列的语料库上进行检索是否对改写攻击构成鲁棒防御，且其扩展性如何？
• RQ4 基于检索的 AI 生成文本检测在实践中的局限性和可扩展性考虑是什么？
• RQ5 在多种语言模型和任务下，不同检测器相对于基于检索的方法在改写攻击下的表现如何？

主要发现

• 使用 dipper 进行改写显著降低了各检测器和模型的准确性（例如 GPT2-XL 的 DetectGPT 从 70.3% 降至 4.6%，FPR 1% 时）。
• dipper 在语义保留方面表现出色，88%-99% 的改写在 P-SP 的中位人类改写语义相似性之上。
• 基于检索的检测在改写文本上实现了高检测率，优于基线（例如在 9K 或 43K+ 语料库上使用 BM25 针对不同模型的检测率为 97.3%-97.8%）。
• 对 1500 万条生成的语料库进行 BM25 检索，伴随语料库规模扩大，准确率只有适度下降（例如在 PG19 上从 98.3% 降至 97.3%，扩展到 1500 万）。
• 基于检索的检测在查询长度方面仍然稳健，在每个查询 50 个以上令牌时表现最佳。