[论文解读] On the Benefit of Combining Neural, Statistical and External Features for Fake News Identification

Gaurav Bhatt, Aman Sharma+4 more|arXiv (Cornell University)|Dec 11, 2017

Misinformation and Its Impacts参考文献 21被引用 18

一句话总结

该论文提出了一种混合模型，将跳字向量（skip-thought）句子嵌入、TF-IDF加权n-gram特征以及人工设计的外部特征相结合，以提升虚假新闻立场检测性能。通过使用深度神经网络整合这些神经网络、统计和启发式特征，该方法在FNC-1数据集上实现了最先进（SOTA）的性能，整体FNC得分为89.29，'discuss'立场的准确率达到85.68%，'unrelated'立场的准确率高达98.04%。

ABSTRACT

Identifying the veracity of a news article is an interesting problem while automating this process can be a challenging task. Detection of a news article as fake is still an open question as it is contingent on many factors which the current state-of-the-art models fail to incorporate. In this paper, we explore a subtask to fake news identification, and that is stance detection. Given a news article, the task is to determine the relevance of the body and its claim. We present a novel idea that combines the neural, statistical and external features to provide an efficient solution to this problem. We compute the neural embedding from the deep recurrent model, statistical features from the weighted n-gram bag-of-words model and handcrafted external features with the help of feature engineering heuristics. Finally, using deep neural layer all the features are combined, thereby classifying the headline-body news pair as agree, disagree, discuss, or unrelated. We compare our proposed technique with the current state-of-the-art models on the fake news challenge dataset. Through extensive experiments, we find that the proposed model outperforms all the state-of-the-art techniques including the submissions to the fake news challenge.

研究动机与目标

• 通过聚焦标题与新闻正文之间的立场检测，解决虚假新闻识别的挑战。
• 探究结合神经网络、统计和外部特征是否能提升虚假新闻立场分类的性能。
• 克服深度学习模型在类别不平衡数据集上的局限性，特别是针对'不同意'立场类别。
• 开发一种鲁棒的混合模型，利用多种特征类型以提升泛化能力和准确性。
• 通过多模态特征融合策略，在FNC-1基准数据集上超越现有最先进模型。

提出的方法

• 使用跳字向量生成标题和新闻正文的密集上下文句子嵌入。
• 应用TF-IDF加权n-gram词袋表示法，从文本内容中提取统计特征。
• 整合人工设计的外部特征，如词汇重叠、余弦相似度以及标题与正文之间的n-gram匹配度。
• 将所有特征类型——神经网络、统计和外部特征——统一整合进一个深度神经网络，实现端到端分类。
• 采用深度前馈网络将立场分类为四种类别：同意、不同意、讨论或无关。
• 在FNC-1数据集上进行模型训练与评估，使用官方FNC得分和各类别准确率作为评估指标。

实验结果

研究问题

• RQ1 结合神经网络、统计和外部特征是否能提升虚假新闻数据集上的立场检测性能？
• RQ2 所提出的混合模型与FNC-1基准上的最先进深度学习架构相比表现如何？
• RQ3 现有模型为何在'不同意'立场上表现不佳？特征工程能否缓解此问题？
• RQ4 将跳字嵌入与TF-IDF及启发式特征结合，是否能提升在类别不平衡数据上的泛化能力？
• RQ5 外部特征在提升'无关'和'讨论'立场性能方面贡献有多大？

主要发现

• 所提模型取得89.29的总体FNC得分，优于所有最先进模型，包括FNC-1挑战赛的顶尖提交结果。
• 该模型在'讨论'立场上取得最高类别准确率（85.68%），显著优于其他模型。
• 在'无关'立场上达到98.04%的准确率，展现出在该具有挑战性的类别中的强大泛化能力。
• 尽管整体准确率略低于某项顶尖提交结果，但本模型的FNC得分更高，表明其在各类别间表现更均衡。
• 混淆矩阵显示，'同意'（43.82%）和'不同意'（6.31%）类别表现良好，其中后者对大多数模型而言尤为困难。
• 该模型的成功归因于对跳字嵌入、TF-IDF n-gram和人工设计特征的有效融合，有效缓解了数据不平衡和模型偏差问题。