[论文解读] TURINGBENCH: A Benchmark Environment for Turing Test in the Age of Neural Text Generation

Adaku Uchendu, Zeyu Ma+3 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling被引用 4

一句话总结

TuringBench 引入了首个全面的基准测试环境，用于在图灵测试和作者归属语境下评估机器生成的文本，包含 200K 个样本，涵盖 20 种文本生成模型（包括 GPT-3、GPT-2 和 FAIR 模型），包含两项核心任务——图灵测试与作者归属，并设有在线排行榜。FAIR_wmt20 和 GPT-3 在人类相似度方面表现最佳，其在最先进检测模型中的 F1 分数最低（表现最佳）。

ABSTRACT

Recent progress in generative language models has enabled machines to generate astonishingly realistic texts. While there are many legitimate applications of such models, there is also a rising need to distinguish machine-generated texts from human-written ones (e.g., fake news detection). However, to our best knowledge, there is currently no benchmark environment with datasets and tasks to systematically study the so-called "Turing Test" problem for neural text generation methods. In this work, we present the TuringBench benchmark environment, which is comprised of (1) a dataset with 200K human- or machine-generated samples across 20 labels {Human, GPT-1, GPT-2_small, GPT-2_medium, GPT-2_large, GPT-2_xl, GPT-2_PyTorch, GPT-3, GROVER_base, GROVER_large, GROVER_mega, CTRL, XLM, XLNET_base, XLNET_large, FAIR_wmt19, FAIR_wmt20, TRANSFORMER_XL, PPLM_distil, PPLM_gpt2}, (2) two benchmark tasks -- i.e., Turing Test (TT) and Authorship Attribution (AA), and (3) a website with leaderboards. Our preliminary experimental results using TuringBench show that FAIR_wmt20 and GPT-3 are the current winners, among all language models tested, in generating the most human-like indistinguishable texts with the lowest F1 score by five state-of-the-art TT detection models. The TuringBench is available at: https://turingbench.ist.psu.edu/

研究动机与目标

• 为系统性评估神经文本生成在区分人类写作与机器生成文本方面提供紧迫需求。
• 创建一个标准化的基准测试环境，涵盖多种语言模型的多样化、高质量数据集。
• 通过两项核心任务支持 AI 生成内容检测的研究：图灵测试（二分类：人类 vs. 机器）和作者归属（识别特定模型来源）。
• 通过提供公开、可扩展的平台、排行榜和真实世界的政治新闻提示，支持鲁棒检测模型的开发。
• 揭示当前检测方法的局限性，并强调由于风格趋同，区分机器生成文本与人类写作的难度日益增加。

提出的方法

• 该基准通过提示 19 种神经文本生成模型，生成与 CNN 和华盛顿邮报等媒体的人类写作新闻风格相似的文章，构建了包含 200K 篇新闻文章（10K 个标题，20 个标签）的数据集。
• 每个样本均标注其来源：1 个为人类，19 个为机器模型（例如 GPT-3、GPT-2、GROVER、FAIR、PPLM 等）。
• 定义了两项基准任务：(1) 图灵测试——对人类与机器生成文本进行二分类；(2) 作者归属——多分类任务，以识别所用的具体模型。
• 公开网站托管数据集、排行榜和评估工具，以鼓励社区参与和模型对比。
• 使用统计分析和可视化方法（例如 LIWC 心理语言学特征的主成分分析）研究人类与机器生成文本之间的风格相似性与差异性。
• 使用 F1 分数评估检测模型在图灵测试任务上的表现，并对文本长度和模型复杂度进行消融研究。

实验结果

研究问题

• RQ1 哪些神经文本生成模型产生的文本最像人类，难以与人类写作区分？
• RQ2 最先进检测模型在涵盖多种语言模型的图灵测试任务中表现如何？
• RQ3 传统作者归属模型能否基于风格特征有效区分 20 种不同的神经文本生成模型？
• RQ4 文本长度和模型架构在多大程度上影响图灵测试和作者归属任务中的检测性能？
• RQ5 当前检测模型在捕捉人类与机器生成文本之间细微风格差异方面存在哪些局限性？

主要发现

• FAIR_wmt20 和 GPT-3 生成的文本最像人类，其在图灵测试中对 19 种模型的 F1 分数最低（表现最佳），表明其不可区分性最高。
• 文本长度（100–400 个 token）与检测性能之间无明显相关性，除 RoBERTa 外，后者表现出长度依赖性。
• 传统作者归属模型（如 SVM、随机森林）甚至深度学习模型均无法完全捕捉 20 位作者之间的风格差异，表明需要更复杂的模型。
• 心理语言学特征（LIWC）显示，人类写作涵盖广泛风格范围，而机器生成文本在特征空间中高度聚集，表明模型风格多样性有限。
• 20 位作者之间风格特征的重叠表明，机器生成文本正变得越来越像人类写作，使得检测更加困难。
• 结果表明，黑箱检测器已不足以应对挑战，未来工作必须聚焦于可解释的检测框架，以识别神经文本生成中的细微、复杂模式。