[论文解读] Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection

Chris Dulhanty, Jason Deglint+2 more|arXiv (Cornell University)|Nov 27, 2019

Misinformation and Its Impacts参考文献 35被引用 23

一句话总结

本文提出了一种基于RoBERTa的最先进的假新闻评估立场检测模型，利用迁移学习技术。通过在声明与文章之间引入双向交叉注意力机制，该方法在FNC-I基准测试中实现了90.01%的加权准确率，优于先前的方法，展示了大规模语言模型在自动化虚假信息检测中的潜力。

ABSTRACT

The exponential rise of social media and digital news in the past decade has had the unfortunate consequence of escalating what the United Nations has called a global topic of concern: the growing prevalence of disinformation. Given the complexity and time-consuming nature of combating disinformation through human assessment, one is motivated to explore harnessing AI solutions to automatically assess news articles for the presence of disinformation. A valuable first step towards automatic identification of disinformation is stance detection, where given a claim and a news article, the aim is to predict if the article agrees, disagrees, takes no position, or is unrelated to the claim. Existing approaches in literature have largely relied on hand-engineered features or shallow learned representations (e.g., word embeddings) to encode the claim-article pairs, which can limit the level of representational expressiveness needed to tackle the high complexity of disinformation identification. In this work, we explore the notion of harnessing large-scale deep bidirectional transformer language models for encoding claim-article pairs in an effort to construct state-of-the-art stance detection geared for identifying disinformation. Taking advantage of bidirectional cross-attention between claim-article pairs via pair encoding with self-attention, we construct a large-scale language model for stance detection by performing transfer learning on a RoBERTa deep bidirectional transformer language model, and were able to achieve state-of-the-art performance (weighted accuracy of 90.01%) on the Fake News Challenge Stage 1 (FNC-I) benchmark. These promising results serve as motivation for harnessing such large-scale language models as powerful building blocks for creating effective AI solutions to combat disinformation.

研究动机与目标

• 为应对社交媒体和数字新闻中虚假信息传播带来的日益严重的社会威胁。
• 改进自动立场检测，作为实现可扩展自动化事实核查系统的基础步骤。
• 克服以往依赖手工特征或浅层词嵌入方法的局限性。
• 探索大规模深度双向Transformer模型在虚假信息检测中立场检测的有效性。
• 在FNC-I数据集上建立新的最先进基准性能。

提出的方法

• 对基于RoBERTa的深度双向Transformer语言模型进行微调，用于在声明-文章对上进行立场检测。
• 采用成对编码，结合自注意力与双向交叉注意力，以建模声明与文章之间的上下文关系。
• 在大规模未标注文本上预训练后，将模型在FNC-I数据集上进行迁移学习。
• 使用分类头预测四种立场类别：同意、反对、无立场或不相关。
• 采用标准NLP训练流程，使用交叉熵损失和Adam优化器进行模型优化。
• 利用RoBERTa学习到的分层上下文表示，捕捉虚假信息中的细微语言模式。

实验结果

研究问题

• RQ1 像RoBERTa这样的大规模深度双向Transformer模型是否能在虚假信息的立场检测中超越传统的基于特征的方法或浅层嵌入方法？
• RQ2 声明与文章之间的双向交叉注意力在多大程度上提升了立场分类的性能？
• RQ3 在FNC-I基准测试中，使用RoBERTa进行迁移学习进行立场检测能达到怎样的准确率？
• RQ4 所提出的方法与在虚假新闻挑战赛前后发表的最先进模型相比如何？
• RQ5 在真实世界事实核查系统中部署此类模型可能带来哪些伦理风险和局限性？

主要发现

• 所提出的基于RoBERTa的模型在FNC-I基准测试中实现了90.01%的加权准确率，创下新的最先进结果。
• 该模型实现了93.71%的标准准确率，显著优于先前方法，例如Zhang等人（2019）的88.15%加权准确率。
• 与2017年虚假新闻挑战赛结束以来的先前方法相比，错误率降低了8%。
• 该结果验证了大规模预训练所获得的深度上下文表示在虚假信息语境中进行立场检测的有效性。
• 该方法在FNC-I测试集上优于原始虚假新闻挑战赛中排名前三的模型以及所有后续领先方法。
• 结果验证了双向交叉注意力与RoBERTa迁移学习结合作为自动化立场检测强大框架的有效性。