[论文解读] To ChatGPT, or not to ChatGPT: That is the question!

Alessandro Pegoraro, Kumari Kavita+2 more|arXiv (Cornell University)|Apr 4, 2023

Artificial Intelligence in Healthcare and Education被引用 36

一句话总结

该研究使用大型提示-响应数据集对在线和学术检测器进行基准测试，结果发现没有任何检测器能可靠地检测到 ChatGPT 生成的文本，检测器常将文本判定为人类撰写。

ABSTRACT

ChatGPT has become a global sensation. As ChatGPT and other Large Language Models (LLMs) emerge, concerns of misusing them in various ways increase, such as disseminating fake news, plagiarism, manipulating public opinion, cheating, and fraud. Hence, distinguishing AI-generated from human-generated becomes increasingly essential. Researchers have proposed various detection methodologies, ranging from basic binary classifiers to more complex deep-learning models. Some detection techniques rely on statistical characteristics or syntactic patterns, while others incorporate semantic or contextual information to improve accuracy. The primary objective of this study is to provide a comprehensive and contemporary assessment of the most recent techniques in ChatGPT detection. Additionally, we evaluated other AI-generated text detection tools that do not specifically claim to detect ChatGPT-generated content to assess their performance in detecting ChatGPT-generated content. For our evaluation, we have curated a benchmark dataset consisting of prompts from ChatGPT and humans, including diverse questions from medical, open Q&A, and finance domains and user-generated responses from popular social networking platforms. The dataset serves as a reference to assess the performance of various techniques in detecting ChatGPT-generated content. Our evaluation results demonstrate that none of the existing methods can effectively detect ChatGPT-generated content.

研究动机与目标

• 调查并对 ChatGPT 及相关大模型的 AI 生成文本检测方法进行分类。
• 在一个共同的基准上评估现有检测器的有效性（包括那些并未专门声称用于检测 ChatGPT 的检测器）。
• 评估在线工具和学术工具在区分 ChatGPT 生成的内容与人类生成的内容方面的可靠性。
• 突出局限性并为检测技术的未来改进提供指南。

提出的方法

• 整理一个包含 ChatGPT 提示、人工回答，以及来自医学、开放问答和金融领域的社交媒体生成内容的基准数据集。
• 按照 OpenAI 的分类法，将检测方法分为黑箱（简单分类器）、零-shot 和基于微调的方法。
• 在基准数据集上测试一系列工具和检测器（包括在线服务）。
• 使用真正例率（TPR）和真反例率（TNR）作为评估指标。
• 分析性能以确定检测器在真实世界环境中的实际有效性。

实验结果

研究问题

• RQ1 在多样化基准上，当前的 ChatGPT 检测器和通用 AI 文本检测器在将 ChatGPT 生成的文本与人类文本区分方面有多有效？
• RQ2 声称能够检测 ChatGPT 提示或 AI 生成文本的工具是否能够在各领域（医学、金融、开放问答）中可靠识别 ChatGPT 内容？
• RQ3 现有检测器在面对复杂的 AI 生成内容时存在哪些局限性和可靠性问题？
• RQ4 检测器的不足对在线话语与教育的可信度有何影响？

主要发现

• 没有任何经评估的检测器在 ChatGPT 生成内容上始终达到高检测准确率。
• 研究中最有效的在线检测器在 ChatGPT 内容上的真阳性率不到 50%。
• 检测器显示出较高的真阴性率，通常约为 90%，但真阳性率很低，表明偏向将文本判定为人类撰写。
• 结果强调需要更强健、可靠的方法在多样化场景中识别 AI 生成的文本。