[论文解读] Who Writes the Review, Human or AI?

Panagiotis C. Theocharopoulos, Spiros V. Georgakopoulos+2 more|arXiv (Cornell University)|May 30, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究提出了一种基于迁移学习的深度学习模型，利用自建的真实书评与Vicuna生成书评的数据集，区分AI生成与人工撰写的书评。该方法在检测文本来源方面实现了96.86%的准确率，表明其在多种主题和写作风格下识别合成文本方面具有高度有效性。

ABSTRACT

With the increasing use of Artificial Intelligence in Natural Language Processing, concerns have been raised regarding the detection of AI-generated text in various domains. This study aims to investigate this issue by proposing a methodology to accurately distinguish AI-generated and human-written book reviews. Our approach utilizes transfer learning, enabling the model to identify generated text across different topics while improving its ability to detect variations in writing style and vocabulary. To evaluate the effectiveness of the proposed methodology, we developed a dataset consisting of real book reviews and AI-generated reviews using the recently proposed Vicuna open-source language model. The experimental results demonstrate that it is feasible to detect the original source of text, achieving an accuracy rate of 96.86%. Our efforts are oriented toward the exploration of the capabilities and limitations of Large Language Models in the context of text identification. Expanding our knowledge in these aspects will be valuable for effectively navigating similar models in the future and ensuring the integrity and authenticity of human-generated content.

研究动机与目标

• 开发一种稳健的方法，用于检测自然语言中的AI生成文本，聚焦书评为代表性领域。
• 探究迁移学习在提升模型在多样化主题与写作风格下泛化能力方面的有效性。
• 应对因数字内容中虚假信息与真实性问题日益加剧而带来的合成文本检测挑战。
• 分析AI文本检测中的局限性与错误模式，特别是人工与AI生成文本在词汇层面高度相似时的影响。
• 为未来适用于其他文本类型（如推文）及多语言、多领域场景的检测系统奠定基础。

提出的方法

• 使用开源Vicuna语言模型构建了包含1,000条人工撰写书评与1,000条AI生成书评的平衡数据集。
• 采用预训练的基于Transformer的模型，通过迁移学习微调，以适应文本来源分类的特定任务。
• 利用迁移学习增强特征提取，提升在不同写作风格与词汇使用下的检测性能。
• 基于验证损失采用早停策略进行模型训练，以防止过拟合并确保最佳泛化能力。
• 应用t-SNE降维技术可视化隐藏状态表征，评估嵌入空间中类别的可分性。
• 进行100次独立训练运行，并通过统计评估与95%置信区间确保结果的稳健性与可靠性。

Figure 1: Schematic overview of this study. Titles and book reviews have been collected from the Kaggle Dataset. The titles of the selected books have been prompted to the Vicuna model, which returned the AI-written reviews based on their title. The study involved text cleaning and data representati

实验结果

研究问题

• RQ1 迁移学习是否能显著提升区分AI生成与人工撰写书评的准确率？
• RQ2 在多样化主题与写作风格下，模型在泛化能力与鲁棒性方面的表现如何？
• RQ3 误分类的主要来源是什么？人工与AI生成文本之间的词汇相似性如何影响检测效果？
• RQ4 置信区间与统计验证在多大程度上能确保检测性能指标的可靠性？
• RQ5 该模型在无需进一步微调的情况下，能否泛化至其他文本类型（如社交媒体内容）？

主要发现

• 所提出的模型在检测书评来源方面实现了平均96.86%的准确率，95%置信区间为[0.9647, 0.9726]。
• 模型在所有指标上均表现优异，F1-score为0.9685，AUC为0.9687，表明高精度与高召回率。
• 尽管准确率较高，模型仍将60篇人工撰写文本误判为AI生成，将117篇AI生成文本误判为人工撰写，表明在模糊案例中仍存在持续挑战。
• 词云与频率分析显示，误分类文本共享高度相似的词汇，表明词汇重叠是造成混淆的关键因素。
• t-SNE可视化证实，尽管大多数人工与AI生成序列在隐藏状态表征中已良好分离，但部分样本仍存在重叠，反映出模糊或风格相似的样本。
• 迁移学习的使用显著提升了性能，准确率从无迁移学习时的92.72%提升至使用迁移学习时的96.87%，证明其在领域自适应中的有效性。

Figure 2: Frequencies of the top 20 words on both original and AI-generated reviews.