[论文解读] Towards a Robust Detection of Language Model Generated Text: Is ChatGPT that Easy to Detect?

Wissam Antoun, Virginie Mouilleron+2 more|arXiv (Cornell University)|Jun 9, 2023

Topic Modeling被引用 9

一句话总结

作者通过将英文数据翻译并对变换器进行微调来训练法语 ChatGPT 检测器，显示在同域检测上表现强劲，但对跨域和对抗性文本的鲁棒性有限，并将数据和模型开源发布。

ABSTRACT

Recent advances in natural language processing (NLP) have led to the development of large language models (LLMs) such as ChatGPT. This paper proposes a methodology for developing and evaluating ChatGPT detectors for French text, with a focus on investigating their robustness on out-of-domain data and against common attack schemes. The proposed method involves translating an English dataset into French and training a classifier on the translated data. Results show that the detectors can effectively detect ChatGPT-generated text, with a degree of robustness against basic attack techniques in in-domain settings. However, vulnerabilities are evident in out-of-domain contexts, highlighting the challenge of detecting adversarial text. The study emphasizes caution when applying in-domain testing results to a wider variety of content. We provide our translated datasets and models as open-source resources. https://gitlab.inria.fr/wantoun/robust-chatgpt-detection

研究动机与目标

• 使用翻译自英文来源的数据，为法语文本开发 ChatGPT 检测器。
• 在单语与多语设置下评估同域与跨域检测性能。
• 测试对简单对抗性攻击（拼写错误、同形异义字）的鲁棒性并分析对教学风格的依赖。
• 探讨在翻译数据上训练的检测器是否能泛化到母语法语及其他语言。

提出的方法

• 使用 Google Cloud Translation API 将基于 English HC3 的数据集翻译为法语。
• 在二分类检测任务（ChatGPT 生成 vs 人类撰写）上微调预训练的变换器模型（CamemBERT、CamemBERTa、RoBERTa、ELECTRA、XLM-R）。
• 尝试不同输入格式：问答对、完整回答与句子级片段。
• 通过拼写错误和同形异义字替换来扩增测试数据，以评估对抗鲁棒性。
• 在多样的法语数据上评估同域与跨域性能，包括原生的 ChatGPT 输出和 BingGPT 输出。
• 将翻译后的数据集和模型作为开源资源发布。

实验结果

研究问题

• RQ1 在翻译自英文数据上训练的 ChatGPT 检测器是否能够可靠检测法语文本中的 ChatGPT 生成内容？
• RQ2 检测器在单语法语、单语英语和多语设置下的性能如何变化？
• RQ3 对基本对抗性攻击（拼写错误、同形异义字）以及跨域内容的鲁棒性如何？
• RQ4 检测器在判别中是否依赖于 ChatGPT/Bing 输出的教学风格？

主要发现

• 法语检测器（CamemBERT、CamemBERTa、RoBERTa、ELECTRA）在 Full 子集上实现了很高的同域精度、召回率和 F1。
• 多语言 XLM-R 展现出强大的整体性能与鲁棒性，尤其在跨域场景中。
• 对抗性扰动（拼写错误、同形异义字）在某些跨域检测中会降低性能，暴露了对简单文本攻击的易受性。
• 检测器在法语原生 ChatGPT 输出和 BingGPT 上表现非常好，但在对抗性和跨域设置下显现出弱点。
• 同域检测并不能完全泛化到跨域内容，凸显了需要多样化训练数据的重要性。
• 提供了开源的数据集和模型，以支持复现实验与进一步研究。