[论文解读] The Turing Deception

David Noever, Matt Ciolino|arXiv (Cornell University)|Dec 9, 2022

Topic Modeling被引用 8

一句话总结

本文通过使用图灵1950年的原始问题，在摘要和问答任务中测试大型语言模型（如ChatGPT）是否能够生成与人类写作难以区分的文本。研究引入了一种新颖的可读性、清晰度和参与度评估指标，发现生成内容在GPT-2检测器中被识别为机器生成内容的概率仅为1%–2%，即98%–99%为原创且不可检测，而图灵原始散文在质量指标上则低14%。

ABSTRACT

This research revisits the classic Turing test and compares recent large language models such as ChatGPT for their abilities to reproduce human-level comprehension and compelling text generation. Two task challenges -- summarization, and question answering -- prompt ChatGPT to produce original content (98-99%) from a single text entry and also sequential questions originally posed by Turing in 1950. We score the original and generated content against the OpenAI GPT-2 Output Detector from 2019, and establish multiple cases where the generated content proves original and undetectable (98%). The question of a machine fooling a human judge recedes in this work relative to the question of "how would one prove it?" The original contribution of the work presents a metric and simple grammatical set for understanding the writing mechanics of chatbots in evaluating their readability and statistical clarity, engagement, delivery, and overall quality. While Turing's original prose scores at least 14% below the machine-generated output, the question of whether an algorithm displays hints of Turing's truly original thoughts (the "Lovelace 2.0" test) remains unanswered and potentially unanswerable for now.

研究动机与目标

• 评估现代语言模型在质量与原创性方面是否能够生成与人类写作难以区分的文本。
• 在大型语言模型（如ChatGPT）取得最新进展的背景下，重新审视图灵测试。
• 开发一种基于可读性、清晰度、参与度和整体质量的新型指标，用于评估聊天机器人生成的文本。
• 基于统计与感知标准，比较原始图灵散文与机器生成内容的语言质量。
• 探讨语言模型是否表现出类似“洛夫莱斯2.0测试”所定义的原创性思维迹象，以及此类能力是否可通过当前评估方法进行测量。

提出的方法

• 采用两项核心任务——摘要生成与问答——使用单一文本输入，从ChatGPT生成原创内容。
• 使用OpenAI的GPT-2输出检测器（2019年）评估生成文本的可检测性，测量其被分类为人类写作的频率。
• 开发了一套语法与风格指标框架，用于评估可读性、统计清晰度、参与度和文本质量。
• 将ChatGPT生成内容的质量与艾伦·图灵1950年论文中的原始散文进行对比。
• 使用标准化质量评分系统量化人类与机器生成内容之间的性能差距。
• 评估生成内容在多大程度上能够规避检测为机器生成内容，重点关注语言一致性与原创性。

实验结果

研究问题

• RQ1 在现有检测工具下，现代语言模型（如ChatGPT）在多大程度上能够生成无法被识别为机器生成的文本？
• RQ2 从可读性与清晰度的角度来看，机器生成文本的语言质量与艾伦·图灵1950年原始散文相比如何？
• RQ3 标准化指标能否可靠地评估聊天机器人生成文本的参与度与整体质量？
• RQ4 当前语言模型的表现是否表明其在特定任务中已接近或超越人类理解水平？
• RQ5 是否能够通过当前评估方法定义或检测语言模型中的原创性、非模仿性思维——类似于“洛夫莱斯2.0测试”？

主要发现

• ChatGPT生成的内容在GPT-2输出检测器中被分类为原创且不可检测的比例达到98%–99%。
• 图灵原始散文在可读性、清晰度与参与度等质量指标上，至少比机器生成内容低14%。
• 所提出的指标框架成功量化并区分了基于语法结构、表达方式与连贯性的生成文本质量。
• 本研究表明，现代语言模型不仅能模仿人类写作风格，甚至在特定语言维度上超越了人类写作内容。
• 尽管性能优异，但模型是否表现出真正原创性思维（而非模仿）的问题仍未解决，且当前工具可能无法回答。
• 结果表明，图灵测试的关注焦点可能正从“机器能否欺骗人类？”转变为“我们如何证明机器并非仅仅在模仿？”