[论文解读] Syntactic Recurrent Neural Network for Authorship Attribution

Fereshteh Jafariakinabad, Sansiri Tarnpradab+1 more|arXiv (Cornell University)|Feb 26, 2019

Authorship Attribution and Profiling参考文献 32被引用 13

一句话总结

本文提出了一种句法循环神经网络，通过同时使用卷积滤波器（捕捉短期依赖）和LSTM（捕捉长期依赖）来建模词性（POS）标记序列，从而以文档级编码写作风格，再通过RNN将句子表示聚合为文档级嵌入。该模型在PAN 2012作者归属数据集上的准确率比基于词汇的模型高出14%，证明了其对主题变化具有更强的鲁棒性。

ABSTRACT

Writing style is a combination of consistent decisions at different levels of language production including lexical, syntactic, and structural associated to a specific author (or author groups). While lexical-based models have been widely explored in style-based text classification, relying on content makes the model less scalable when dealing with heterogeneous data comprised of various topics. On the other hand, syntactic models which are content-independent, are more robust against topic variance. In this paper, we introduce a syntactic recurrent neural network to encode the syntactic patterns of a document in a hierarchical structure. The model first learns the syntactic representation of sentences from the sequence of part-of-speech tags. For this purpose, we exploit both convolutional filters and long short-term memories to investigate the short-term and long-term dependencies of part-of-speech tags in the sentences. Subsequently, the syntactic representations of sentences are aggregated into document representation using recurrent neural networks. Our experimental results on PAN 2012 dataset for authorship attribution task shows that syntactic recurrent neural network outperforms the lexical model with the identical architecture by approximately 14% in terms of accuracy.

研究动机与目标

• 解决基于词汇的模型在处理多样化主题时面临的可扩展性局限性。
• 开发一种内容无关、基于句法的神经网络，以捕捉文档间一致的写作风格。
• 探究在POS标记序列中结合短期（CNN）与长期（LSTM）依赖对风格建模的有效性。
• 评估在短文档与长文档上的性能表现，并对比句法建模与基于词汇的建模方法。

提出的方法

• 该模型首先将每句话转换为词性（POS）标记序列，以提取句法模式。
• 采用卷积神经网络（CNN）层从POS序列中捕捉局部的短期句法n-gram。
• 使用LSTM层对POS序列中的长期依赖进行建模，以捕捉全局句法结构。
• 通过分层RNN将句子级句法表示聚合为文档级表示。
• 应用注意力机制以突出对作者归属最具信息量的句子。
• 最终的文档表示通过全连接层与Softmax输出进行分类。

实验结果

研究问题

• RQ1 句法神经网络是否能在作者归属任务中超越基于词汇的模型，尤其是在主题变化较大的情况下？
• RQ2 对POS序列进行短期（CNN）与长期（LSTM）建模如何影响基于风格的分类性能？
• RQ3 当在部分文档上进行训练时，模型性能如何变化，特别是在短文本与长文本中的表现差异？
• RQ4 在不同文档长度范围内，CNN-LSTM与LSTM-LSTM哪种模型架构更能有效捕捉作者写作风格？

主要发现

• 句法循环神经网络在PAN 2012测试集上实现了100.00%的文档级准确率，优于最佳基于词汇的模型（85.71%）。
• 句法模型在段落级准确率上比基于词汇的模型高出14%，表明其具有更强的泛化能力与对主题变化的鲁棒性。
• CNN-LSTM模型在段落级准确率上比LSTM-LSTM模型高出约4%，表明其更有效地捕捉了局部句法n-gram。
• 对于短文档（训练时仅使用<30%的段落），LSTM-LSTM模型的测试准确率高于CNN-LSTM，表明在低数据环境下其风格学习速度更快。
• 句法模型在所有类别中均表现出更高的召回率，且CNN-LSTM与LSTM-LSTM均正确分类了全部14个测试文档。
• 两种句法模型在大多数类别中均实现了完美召回，尽管第13类出现轻微下降；而基于词汇的模型在第1、4、7、11和12类上表现更差。