[论文解读] On the Detectability of ChatGPT Content: Benchmarking, Methodology, and Evaluation through the Lens of Academic Writing

Zeyan Liu, Zijun Yao+2 more|arXiv (Cornell University)|Jun 7, 2023

Artificial Intelligence in Healthcare and Education被引用 16

一句话总结

本文介绍 GPABenchmark，这是一个包含人类与 GPT 生成的学术摘要的 60 万样本数据集，并提出 CheckGPT，一种与模型无关的检测器，在学科特定任务上实现约 98%-99% 的准确率，并对新领域具有强迁移性。

ABSTRACT

With ChatGPT under the spotlight, utilizing large language models (LLMs) to assist academic writing has drawn a significant amount of debate in the community. In this paper, we aim to present a comprehensive study of the detectability of ChatGPT-generated content within the academic literature, particularly focusing on the abstracts of scientific papers, to offer holistic support for the future development of LLM applications and policies in academia. Specifically, we first present GPABench2, a benchmarking dataset of over 2.8 million comparative samples of human-written, GPT-written, GPT-completed, and GPT-polished abstracts of scientific writing in computer science, physics, and humanities and social sciences. Second, we explore the methodology for detecting ChatGPT content. We start by examining the unsatisfactory performance of existing ChatGPT detecting tools and the challenges faced by human evaluators (including more than 240 researchers or students). We then test the hand-crafted linguistic features models as a baseline and develop a deep neural framework named CheckGPT to better capture the subtle and deep semantic and linguistic patterns in ChatGPT written literature. Last, we conduct comprehensive experiments to validate the proposed CheckGPT framework in each benchmarking task over different disciplines. To evaluate the detectability of ChatGPT content, we conduct extensive experiments on the transferability, prompt engineering, and robustness of CheckGPT.

研究动机与目标

• 激励并量化检测大型语言模型生成的学术写作的挑战。
• 提供一个全面的跨学科数据集（GPABenchmark），用于检测器的基准测试。
• 开发一个模型无关的检测器（CheckGPT），具备高准确性、可迁移性和可解释性。

提出的方法

• 构建 GPABenchmark，包含 60 万个样本，覆盖 CS、物理和人文社科领域的人类撰写、GPT 撰写、GPT 完成和 GPT 打磨的摘要。
• 在 GPABenchmark 上评估现有的开源与商业检测器（GPTZero、ZeroGPT、OpenAI 的分类器），涵盖三个任务（GPT-WRI、GPT-CPL、GPT-POL）。
• 将 CheckGPT 设计为基于语言模型的检测器，具备通用表示模块和注意力 BiLSTM 分类器。
• 展示 CheckGPT 是模型无关且可迁移的，几乎无需领域特定调优。
• 进行一项包含 150 以上参与者的人工用户研究，以评估对 GPT 生成摘要的可检测性。

Figure 1: Distribution of abstract lengths (# of words): red: ChatGPT-generated; green: human-written.

实验结果

研究问题

• RQ1 跨学科的人类在分辨 GPT 生成的摘要方面有多高的准确度？
• RQ2 最先进的检测器在 GPABenchmark 上的表现如何，特别是对 GPT 打磨文本？
• RQ3 基于语言模型的检测器（CheckGPT）在无白盒访问的情况下，是否能够实现较高的准确性和可迁移性？
• RQ4 CheckGPT 能为大型语言模型输出提供关于生成过程的哪些可解释性洞见？

主要发现

• GPABenchmark 含有 60 万个样本，覆盖 CS、物理和人文社科领域的人类撰写、GPT 撰写、GPT 完成和 GPT 打磨的摘要。
• 人类评估者难以辨别 GPT 生成的摘要；准确率在随机到适中之间，即使在专家之间也是如此。
• 开源与商业检测器在 GPABenchmark 上的表现不理想，尤其是对 GPT 打磨文本。
• CheckGPT 在任务特定检测器上的平均准确率达到 98%-99%，在新领域的无调优迁移准确率约为 90%，通过大约 2000 个领域特定样本的微调可提升至约 98%。
• CheckGPT 是模型无关、轻量级、可迁移，并为对 LLM 生成文本提供可解释性洞见。

Figure 2: The architecture of the CheckGPT model.