[论文解读] PART: Pre-trained Authorship Representation Transformer

Javier Huertas‐Tato, Alejandro Martı́n+1 more|arXiv (Cornell University)|Sep 30, 2022

Authorship Attribution and Profiling被引用 4

一句话总结

本文提出PART（预训练作者风格表征Transformer），一种对比自监督学习模型，通过在同作者的文档对上进行训练，生成零样本作者风格嵌入。该模型在250位未见作者的作者识别任务中，实现了72.39%的零样本准确率和86.73%的top-5准确率，表明其在使用涵盖文学、博客和邮件的异质训练数据集时，对域外写作风格具有强大的泛化能力。

ABSTRACT

Authors writing documents imprint identifying information within their texts: vocabulary, registry, punctuation, misspellings, or even emoji usage. Previous works use hand-crafted features or classification tasks to train their authorship models, leading to poor performance on out-of-domain authors. Using stylometric representations is more suitable, but this by itself is an open research challenge. In this paper, we propose PART, a contrastively trained model fit to learn extbf{authorship embeddings} instead of semantics. We train our model on ~1.5M texts belonging to 1162 literature authors, 17287 blog posters and 135 corporate email accounts; a heterogeneous set with identifiable writing styles. We evaluate the model on current challenges, achieving competitive performance. We also evaluate our model on test splits of the datasets achieving zero-shot 72.39\% accuracy when bounded to 250 authors, a 54\% and 56\% higher than RoBERTa embeddings. We qualitatively assess the representations with different data visualizations on the available datasets, observing features such as gender, age, or occupation of the author.

研究动机与目标

• 通过学习可泛化的、风格感知的表征，解决手工设计特征和监督模型在作者归属任务中的局限性。
• 开发一种具备零样本能力的模型，无需微调即可泛化至域外作者。
• 通过统一的表征空间，为词、句子和文档生成一致的作者风格嵌入。
• 通过定性和定量分析，评估模型捕捉性别、年龄、职业和体裁等风格特征的能力。
• 研究训练数据多样性与标签偏差对表征质量及模型泛化能力的影响。

提出的方法

• 模型使用预训练的Transformer编码器配合LSTM头，处理文档对。
• 通过最大化同作者文档嵌入之间的余弦相似度，同时最小化不同作者文档之间的相似度，应用对比学习。
• 损失函数基于InfoNCE对比目标，优化同作者间的相似性与跨作者间的差异性。
• 通过池化token级表征的平均值获取文档级嵌入，实现在不同文本长度下的稳定表征。
• 模型在涵盖文学、匿名博客和企业邮件的多样化语料上进行预训练，以捕捉异质写作风格。
• 最终的作者风格嵌入为学习得到的向量表征，能够捕捉与语义内容无关的风格特征。

实验结果

研究问题

• RQ1 对比自监督学习是否能有效学习到无需显式标签的作者专属表征？
• RQ2 该模型在训练数据中未出现的未见作者和写作风格上，其泛化能力达到何种程度？
• RQ3 训练数据集中的偏差如何影响学习到的作者风格嵌入的质量与泛化能力？
• RQ4 学习到的嵌入是否能捕捉到性别、年龄、职业和体裁等有意义的风格属性？
• RQ5 在包含不同数据质量与表征方式的多样化作者数据集上，该模型在零样本评估下的表现如何？

主要发现

• 在包含250位未见作者的联合评估数据集上，模型实现了72.39%的零样本准确率和86.73%的top-5准确率，表明其具备强大的零样本泛化能力。
• 定性分析表明，嵌入按作者及性别、年龄、职业和体裁等风格特征聚类，表明学习到了有意义的表征。
• 由于对token表征进行平均池化，模型在不同文本长度下表现出高度一致的文档级嵌入。
• 尽管性能优异，模型仍表现出对训练集中过度代表的标签（如文学中的小说体裁和博客中的学生身份）的偏向，表明数据表征影响嵌入质量。
• 模型性能受限于序列长度，因需更长上下文才能捕捉长程风格依赖。
• 作者指出，更丰富的训练数据——尤其是来自科学期刊和论文等代表性不足领域的数据——对提升鲁棒性与泛化能力至关重要。