[论文解读] When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs

Marialena Bevilacqua, Kezia Oketch+6 more|arXiv (Cornell University)|Sep 25, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本研究提出一个框架，用于评估基于机器学习（ML）的作文评分模型在仅使用人类写作数据进行训练的情况下，如何对GPT生成的文本进行评分。基于六种文体的18,460篇人类与GPT生成的作文，研究发现，如BERT等基于Transformer的模型对GPT生成文本的评分比人类作文高出10%–15%，尽管这些模型仅在人类数据上进行微调——这很可能是因为预训练数据存在重叠。随着生成式AI日益普及，该研究揭示了自动化文本评估中潜在的风险。

ABSTRACT

The use of machine learning (ML) models to assess and score textual data has become increasingly pervasive in an array of contexts including natural language processing, information retrieval, search and recommendation, and credibility assessment of online content. A significant disruption at the intersection of ML and text are text-generating large-language models such as generative pre-trained transformers (GPTs). We empirically assess the differences in how ML-based scoring models trained on human content assess the quality of content generated by humans versus GPTs. To do so, we propose an analysis framework that encompasses essay scoring ML-models, human and ML-generated essays, and a statistical model that parsimoniously considers the impact of type of respondent, prompt genre, and the ML model used for assessment model. A rich testbed is utilized that encompasses 18,460 human-generated and GPT-based essays. Results of our benchmark analysis reveal that transformer pretrained language models (PLMs) more accurately score human essay quality as compared to CNN/RNN and feature-based ML methods. Interestingly, we find that the transformer PLMs tend to score GPT-generated text 10-15\% higher on average, relative to human-authored documents. Conversely, traditional deep learning and feature-based ML models score human text considerably higher. Further analysis reveals that although the transformer PLMs are exclusively fine-tuned on human text, they more prominently attend to certain tokens appearing only in GPT-generated text, possibly due to familiarity/overlap in pre-training. Our framework and results have implications for text classification settings where automated scoring of text is likely to be disrupted by generative AI.

研究动机与目标

• 调查基于机器学习的自动化作文评分（AES）模型在仅使用人类写作数据进行训练的情况下，如何评估由GPT生成的文本。
• 分析作文文体和模型架构对人类与GPT生成文本评分差异的调节作用。
• 识别在机器学习评分背景下，区分人类与GPT生成作文的语言线索和注意力模式。
• 构建一个可复现的框架，用于研究自然语言处理中自动化内容生成与自动化评估的交叉问题。
• 为自动化评分系统可能偏向AI生成内容提供实证洞察，即使这些系统仅在人类数据上进行训练。

提出的方法

• 本研究构建了一个包含18,460篇作文的丰富测试集：15,437篇人类生成和3,023篇GPT生成（1,537篇GPT-3.5和1,486篇GPT-4），使用68个提示覆盖六种文体。
• 采用最先进的AES机器学习模型，包括BERT、RoBERTa、CNN/RNN和基于特征的模型，对人类和GPT生成的作文进行评分。
• 使用统计模型联合分析作者身份（人类 vs. GPT）、提示文体和评分模型架构的主效应及交互效应。
• 开展并行表征分析，比较人类与GPT生成文本在主题、情感、词性及拼写错误等语言特征上的差异。
• 对基于BERT的模型进行注意力权重分析，考察模型在评分GPT与人类作文时关注的词元类型。
• 通过GitHub公开框架、代码、数据及提示设计，以支持可复现性与未来研究。

Figure 1 : Overview of Research Design

实验结果

研究问题

• RQ1 RQ1：最先进的基于特征和深度学习的自动化作文评分（AES）模型在评分效果上表现如何？
• RQ2 RQ2：在仅使用人类生成内容进行训练的AES模型对GPT生成文本的评分表现如何？文体在其中是否具有调节作用？
• RQ3 RQ3：人类与GPT生成文本在哪些语言类别和线索上差异最大？这些差异如何影响模型的注意力机制与评分结果？

主要发现

• 基于Transformer的模型（如BERT和RoBERTa）在评分人类作文质量方面优于CNN/RNN和基于特征的模型，证实了其在文本分类任务中的最先进性能。
• 尽管仅在人类作文上进行微调，BERT类模型对GPT-3.5生成文本的平均评分比人类作文高出约15%。
• 相比之下，基于特征和CNN/RNN的模型分别对人类作文的评分比GPT生成文本高出10%–15%和26%–32%，表明存在显著的模型依赖性偏差。
• 评分差异与BERT模型中的注意力模式相关，其注意力机制更倾向于关注如专有名词（例如作者名或角色名）等词元，而这些词元同时出现在预训练数据和GPT生成文本中。
• 语言学分析显示，GPT与人类作文在主题、情感、词性及拼写错误方面的差异，比人类用户生成内容中跨性别或跨种族差异更为显著。
• 研究结果表明，BERT/RoBERTa与GPT模型之间预训练数据的重叠，可能导致前者在未显式接触此类内容的情况下仍偏好GPT生成文本。

Figure 2 : Overview of Analysis Framework