[论文解读] StyloAI: Distinguishing AI-Generated Content with Stylometric Analysis

Chidimma Opara|arXiv (Cornell University)|May 16, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

StyloAI 提出了一种基于数据驱动、可解释的模型，使用31个文体特征（其中12个是为AI文本检测新提出的）并采用随机森林分类器，以区分AI生成文本与人工撰写文本。该模型在AuTextification数据集上达到81%的准确率，在教育领域专用数据集上达到98%的准确率，优于当前最先进模型，同时相较于‘黑箱’深度学习方法提供了更高的透明度。

ABSTRACT

The emergence of large language models (LLMs) capable of generating realistic texts and images has sparked ethical concerns across various sectors. In response, researchers in academia and industry are actively exploring methods to distinguish AI-generated content from human-authored material. However, a crucial question remains: What are the unique characteristics of AI-generated text? Addressing this gap, this study proposes StyloAI, a data-driven model that uses 31 stylometric features to identify AI-generated texts by applying a Random Forest classifier on two multi-domain datasets. StyloAI achieves accuracy rates of 81% and 98% on the test set of the AuTextification dataset and the Education dataset, respectively. This approach surpasses the performance of existing state-of-the-art models and provides valuable insights into the differences between AI-generated and human-authored texts.

研究动机与目标

• 识别在多种领域中能可靠区分AI生成文本与人工撰写文本的文体特征。
• 开发一种利用这些特征进行准确、可解释文本分类的机器学习模型。
• 通过强调特征可解释性，解决‘黑箱’深度学习模型在AI文本检测中的局限性。
• 评估模型在多领域数据集上的泛化能力，特别是在教育场景中的表现。
• 提供一种可扩展、基于数据的替代方案，以替代现有专有AI检测工具，实现性能提升与透明度增强。

提出的方法

• 该模型提取31个文体特征，分为六类：词汇多样性、情感与主观性、可读性、命名实体，以及独特性与多样性。
• 其中12个特征是为AI文本检测新提出的，包括词形类型比（TTR）、异形词率（HLR）、唯一词数（UniqueWordCount）和停用词数（StopWordCount）。
• 使用这些特征训练随机森林分类器，将文本分类为AI生成或人工撰写。
• 该模型在两个多领域、人工标注的数据集上进行评估：AuTextification（Bloom生成）和一个教育领域专用数据集。
• 利用随机森林内置的特征重要性排列方法分析特征重要性，以识别最具影响力的特征。
• 通过F1值和准确率指标，将性能与当前最先进模型（包括TALN-UPF、BOW+LR和GPTZero）进行基准对比。

实验结果

研究问题

• RQ1 哪些文体特征在多个领域中最具区分力，能有效识别AI生成文本与人工撰写文本？
• RQ2 一种透明的、非深度学习的模型能否在准确率和泛化能力方面超越现有最先进的AI文本检测系统？
• RQ3 最具影响力的文体特征如何反映AI生成内容特有的语言模式？
• RQ4 该模型在不同文本领域中的泛化能力如何，特别是在教育场景中？
• RQ5 基于特征的模型在AI文本检测中的可解释性，与‘黑箱’深度学习方法相比有何优势？

主要发现

• 在AuTextification数据集上，StyloAI达到81%的准确率，优于TALN-UPF模型（80% F1值），并显著超越零样本基线（33% F1值）。
• 在教育领域专用数据集上，StyloAI达到98%的准确率，与Mindner等人模型性能相当，但仅使用手工设计的特征。
• 最具影响力的前四个特征为UniqueWordCount、StopWordCount、Type-Token Ratio（TTR）和HapaxLegomenonRate，表明它们在区分AI与人工写作中起着关键作用。
• AI生成的文本倾向于过度使用生僻词，同时减少停用词的使用，从而破坏人工写作中自然的词汇平衡。
• 该模型在跨领域泛化方面表现强劲，尤其在教育文本检测中表现卓越，其性能与依赖微调Transformer或专有检测器的模型相当或更优。
• 本研究证实，通过手工设计的文体特征与透明分类器（如随机森林）结合，可在无需领域特定微调或大规模预训练的情况下，实现最先进性能。