[论文解读] Neural Network Architecture for Credibility Assessment of Textual Claims

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Mar 28, 2018

Misinformation and Its ImpactsSocial Sciences被引用 18

一句话总结

该论文提出 CREDO，一种神经网络架构，通过整合来源与作者可信度、利用双向LSTM与孪生网络计算与可信文档的语义相似度，以及情感分析，来评估文本声明的可信度。在 Snopes 数据集上，CREDO 的表现优于最先进方法，其中语义相似度模块影响最大，若将其排除，性能将下降32.7%。

ABSTRACT

Text articles with false claims, especially news, have recently become aggravating for the Internet users. These articles are in wide circulation and readers face difficulty discerning fact from fiction. Previous work on credibility assessment has focused on factual analysis and linguistic features. The task's main challenge is the distinction between the features of true and false articles. In this paper, we propose a novel approach called Credibility Outcome (CREDO) which aims at scoring the credibility of an article in an open domain setting. CREDO consists of different modules for capturing various features responsible for the credibility of an article. These features includes credibility of the article's source and author, semantic similarity between the article and related credible articles retrieved from a knowledge base, and sentiments conveyed by the article. A neural network architecture learns the contribution of each of these modules to the overall credibility of an article. Experiments on Snopes dataset reveals that CREDO outperforms the state-of-the-art approaches based on linguistic features.

研究动机与目标

• 为应对新闻与网络内容中日益严重的虚假信息挑战，开发一种自动化可信度评估系统。
• 通过引入外部知识与多源可信度信号，改进仅依赖语言特征的现有方法。
• 设计一种模块化神经网络架构，将多样化的可信度指标融合为统一的可信度评分。
• 评估各组件（语义相似度、情感分析、作者/来源可信度）对整体可信度判断的相对贡献。

提出的方法

• 使用关键词提取生成查询，从知识库（如 Wikipedia、新闻网站）中检索相关文档。
• 采用带有孪生网络结构的双向LSTM，学习输入文章与检索到的可信文档之间的语义相似度。
• 将作者可信度评分（ACS）与网站信任评分（WTS）作为特征，用于评估来源可靠性。
• 应用预训练的情感分析工具评估文章的中立性，因为事实性内容通常更具中立性。
• 将所有模块输出整合到统一的神经网络分类器（SVM-RBF 或 MLP-NN）中，以预测最终可信度评分。
• 在 Snopes 数据集上采用五折交叉验证进行训练与评估，性能指标包括准确率、F1 值与皮尔逊相关系数。

实验结果

研究问题

• RQ1 与仅依赖语言特征的模型相比，将语义相似度与外部知识库结合，如何提升可信度评估效果？
• RQ2 各组件（语义相似度、情感分析、作者/来源可信度）对整体可信度预测的相对贡献如何？
• RQ3 神经网络架构能否有效融合异构的可信度信号，构建出稳健且可泛化的模型？
• RQ4 在该特征集下，不同分类器（如 SVM-RBF、MLP-NN）在可信度分类任务中的表现如何？

主要发现

• CREDO 在 Snopes 数据集的所有评估指标上均优于最先进方法，展现出在开放域可信度评估中的优越泛化能力。
• 若排除语义相似度模块，准确率下降32.7%，表明其为系统中最关键的组件。
• 情感分析模块使准确率提升7.1%，表明其具有可测量但次要的作用，相较于语义相似度影响较小。
• 作者可信度评分（ACS）与网站信任评分（WTS）各自对准确率的提升均较小，约为1%，表明其独立影响有限。
• 采用 RBF 核的 SVM 与多层感知机（MLP-NN）分类器表现最佳，表明该任务需要非线性决策边界。
• 语义相似度模块在 SemEval-STS 2016 基准测试中表现优异，证实其在衡量文章间语义相关性方面的有效性。