[论文解读] SAFE: Similarity-Aware Multi-Modal Fake News Detection

Xinyi Zhou, Jindi Wu+1 more|arXiv (Cornell University)|Feb 19, 2020

Misinformation and Its Impacts参考文献 29被引用 94

一句话总结

SAFE 同时建模文本与视觉内容及其跨模态相似性以检测假新闻，在 PolitiFact 和 GossipCop 数据集上优于基线。

ABSTRACT

Effective detection of fake news has recently attracted significant attention. Current studies have made significant contributions to predicting fake news with less focus on exploiting the relationship (similarity) between the textual and visual information in news articles. Attaching importance to such similarity helps identify fake news stories that, for example, attempt to use irrelevant images to attract readers' attention. In this work, we propose a $\mathsf{S}$imilarity-$\mathsf{A}$ware $\mathsf{F}$ak$\mathsf{E}$ news detection method ($\mathsf{SAFE}$) which investigates multi-modal (textual and visual) information of news articles. First, neural networks are adopted to separately extract textual and visual features for news representation. We further investigate the relationship between the extracted features across modalities. Such representations of news textual and visual information along with their relationship are jointly learned and used to predict fake news. The proposed method facilitates recognizing the falsity of news articles based on their text, images, or their "mismatches." We conduct extensive experiments on large-scale real-world data, which demonstrate the effectiveness of the proposed method.

研究动机与目标

• 通过利用文本与图像之间的跨模态相似性来提升假新闻检测的动机。
• 开发一个多模态框架，学习新闻文章的文本、视觉及关系表示。
• 证明将跨模态相似性纳入比单模态基线获得更好的假新闻预测。

提出的方法

• 使用扩展的 Text-CNN 并增加一个额外的全连接层来提取文本特征。
• 通过在预训练的 image2sentence 流水线的特征上应用 Text-CNN 提取视觉特征，然后再进行变换以得到一个 d 维表示。
• 定义文本和图像表示之间的跨模态相似性度量 s，以及用于基于相似性指示不匹配的专用损失项。
• 通过具有两个损失分量（预测损失和相似性损失）的联合学习目标，将多模态特征与跨模态相似性结合起来。
• 借助一个联合梯度过程（算法1）端到端优化，以更新文本、视觉和预测参数。

实验结果

研究问题

• RQ1 一个具备相似性感知的多模态模型是否比单模态或简单的多模态基线更有效地检测假新闻？
• RQ2 结合跨模态相似性是否有助于识别文本与图像之间指示伪造的不匹配？
• RQ3 在实现准确假新闻检测时，多模态内容与跨模态相似性的贡献平衡如何？

主要发现

• SAFE 在 PolitiFact 和 GossipCop 数据集上比 LIWC、VGG-19 和 att-RNN 基线具有更高的准确率和 F1 分数。
• 整合文本、视觉和跨模态相似性比省略任一模态或相似性项的变体具有更好的性能。
• 文本信息通常比视觉信息更具信息量，但两种模态及其关系的结合可获得最佳结果。
• 在调整多模态特征与跨模态相似性之间的相对权重时，该方法仍然有效，表明两者对检测都具有重要贡献。
• 案例研究表明较低的相似性分数往往与假新闻一致，说明该模型识别不匹配的能力。