[论文解读] Stylometry Analysis of Multi-authored Documents for Authorship and Author Style Change Detection

Muhammad Tayyab Zamir, Muhammad Asif Ayub+3 more|arXiv (Cornell University)|Jan 12, 2024

Authorship Attribution and Profiling被引用 4

一句话总结

本文提出了一种基于优势的晚期融合框架，结合多个Transformer模型及优化技术（PSO、Nelder-Mead、Powell），用于多作者文档中的风格计量任务。结果表明，在预处理过程中保留特殊字符可显著提升性能，在多作者切换检测任务中，F1得分相比最先进方法最高提升5.35%。

ABSTRACT

In recent years, the increasing use of Artificial Intelligence based text generation tools has posed new challenges in document provenance, authentication, and authorship detection. However, advancements in stylometry have provided opportunities for automatic authorship and author change detection in multi-authored documents using style analysis techniques. Style analysis can serve as a primary step toward document provenance and authentication through authorship detection. This paper investigates three key tasks of style analysis: (i) classification of single and multi-authored documents, (ii) single change detection, which involves identifying the point where the author switches, and (iii) multiple author-switching detection in multi-authored documents. We formulate all three tasks as classification problems and propose a merit-based fusion framework that integrates several state-of-the-art natural language processing (NLP) algorithms and weight optimization techniques. We also explore the potential of special characters, which are typically removed during pre-processing in NLP applications, on the performance of the proposed methods for these tasks by conducting extensive experiments on both cleaned and raw datasets. Experimental results demonstrate significant improvements over existing solutions for all three tasks on a benchmark dataset.

研究动机与目标

• 应对人工智能生成文本和多作者文档中作者身份归属与风格变化检测日益增长的挑战。
• 提升在三项风格计量任务上的性能：单/多作者文档分类、单作者切换检测和多作者切换检测。
• 研究在自然语言处理预处理过程中通常被移除的特殊字符对风格计量分析性能的影响。
• 开发一种基于优势的融合框架，利用先进优化技术对模型权重进行优化，以提升分类准确率。
• 在先前工作的基础上，解决真实世界多作者文档中单个与多个作者切换检测的问题。

提出的方法

• 将所有三项风格计量任务建模为基于Transformer的模型（如BERT、RoBERTa、DistilBERT）的文本分类问题。
• 实施一种晚期融合策略，通过加权平均组合各模型的预测结果。
• 使用三种元启发式优化方法（粒子群优化PSO、Nelder-Mead、Powell方法）对模型权重进行优化。
• 在清洗后和原始数据集上进行实验，以评估预处理的影响，特别是停用词、缩写和标点符号的保留。
• 在所有任务中均以F1得分作为主要评估指标，并与现有最先进方法进行比较。
• 通过特征工程保留风格标记，如特殊字符，这些特征通常在标准自然语言处理流程中被丢弃。

Figure 1: Single and multi-authored document samples: (a) single-authored document, (b) multi-authored document zangerle2021overview .

实验结果

研究问题

• RQ1 基于优势的晚期融合框架，结合多个Transformer模型，是否能在风格计量任务上优于单个模型？
• RQ2 不同的优化技术（PSO、Nelder-Mead、Powell）如何影响融合模型在作者身份识别与风格变化检测中的性能？
• RQ3 特殊字符以及停用词/缩写词在多作者文档中对区分作者风格方面的作用有多大？
• RQ4 在预处理阶段保留原始文本特征（如标点符号、缩写词）是否能带来风格计量分类任务中的可测量性能提升？
• RQ5 所提出方法在不同风格计量任务中的表现如何，特别是在检测多个作者切换事件方面？

主要发现

• 基于PSO和Nelder-Mead的融合方法在多作者切换检测任务（任务3）中取得了最高的F1得分0.5535（使用清洗数据集），相比现有解决方案高出约5%。
• 在任务2（单作者切换检测）中，简单融合方法的F1得分为0.782，相比最佳现有解决方案提升了3%。
• 包含特殊字符和停用词显著提升了模型性能，因为其移除导致所有任务中的F1得分明显下降。
• 基于Nelder-Mead和PSO的融合方法优于单个模型及其他融合策略，尤其在涉及多个作者切换的复杂任务中表现更优。
• 在任务3中，清洗数据集与原始数据集之间的性能差距极小，表明当保留特殊字符时，所提方法对预处理差异具有鲁棒性。
• BERT-base模型在任务3中取得了最高的单个模型性能（清洗数据集上F1=0.5309），但融合方法表现更优，证明了集成学习在风格计量中的有效性。

Figure 2: A sample multi-authored document with a single author switching zangerle2021overview . The red line indicates the position where the author switches from author X to author Y.