[论文解读] Reasoning Over Semantic-Level Graph for Fact Checking

Wanjun Zhong, Jingjing Xu+6 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 35被引用 19

一句话总结

本文提出了一种基于图的推理框架用于事实核查，通过语义角色标注（SRL）从证据句子构建语义级图，然后在像XLNet这样的预训练模型中利用图结构表示以提升声明验证性能。通过重新定义词之间的距离并应用图卷积网络和注意力网络，该方法在FEVER基准上实现了最先进性能，优于先前方法在声明验证准确率和FEVER得分上的表现。

ABSTRACT

Fact checking is a challenging task because verifying the truthfulness of a claim requires reasoning about multiple retrievable evidence. In this work, we present a method suitable for reasoning about the semantic-level structure of evidence. Unlike most previous works, which typically represent evidence sentences with either string concatenation or fusing the features of isolated evidence sentences, our approach operates on rich semantic structures of evidence obtained by semantic role labeling. We propose two mechanisms to exploit the structure of evidence while leveraging the advances of pre-trained models like BERT, GPT or XLNet. Specifically, using XLNet as the backbone, we first utilize the graph structure to re-define the relative distances of words, with the intuition that semantically related words should have short distances. Then, we adopt graph convolutional network and graph attention network to propagate and aggregate information from neighboring nodes on the graph. We evaluate our system on FEVER, a benchmark dataset for fact checking, and find that rich structural information is helpful and both our graph-based mechanisms improve the accuracy. Our model is the state-of-the-art system in terms of both official evaluation metrics, namely claim verification accuracy and FEVER score.

研究动机与目标

• 为了解决现有事实核查方法无法捕捉多条证据句子之间丰富语义结构的局限性。
• 通过结构化图建模证据句子中论据之间的语义关系，以提升声明验证性能。
• 将基于图的推理与强大的预训练语言模型（如XLNet）相结合，以增强上下文表示学习。
• 证明SRL生成的图结构信息可提升基准数据集上的事实核查性能。

提出的方法

• 使用语义角色标注（SRL）为每条证据句子构建语义级图，其中论元及其谓词构成节点和边。
• 基于图拓扑重新定义XLNet中的相对位置编码，以确保语义相关的词语具有更短的有效距离。
• 应用图卷积网络（GCN）在语义图的连接节点间传播并聚合表示。
• 集成图注意力网络（GAT）以在表示学习过程中动态加权邻近节点的重要性。
• 将XLNet的上下文词嵌入与图增强表示相结合，生成更丰富的句子级表示。
• 使用最终的增强表示进行端到端的声明分类，类别为'SUPPORTED'、'REFUTED'或'NOT ENOUGH INFO'。

实验结果

研究问题

• RQ1 与字符串拼接或特征融合相比，通过SRL对证据句子的语义结构进行建模是否能提升事实核查性能？
• RQ2 在像XLNet这样的预训练模型中引入基于图的相对距离，对事实核查的上下文表示学习有何影响？
• RQ3 图卷积和图注意力机制在声明验证中对证据图的推理能力提升程度如何？
• RQ4 将基于图的推理与预训练语言模型相结合，是否能在FEVER基准上实现最先进性能？

主要发现

• 所提出的基于图的推理方法在FEVER基准上实现了最先进性能，优于先前方法在声明验证准确率和FEVER得分上的表现。
• 消融研究证实，基于图的模块——图感知的相对距离和图传播——均对性能提升有贡献。
• 利用SRL构建语义图使模型能够捕捉复杂的推理链，例如在不同证据句子之间关联'洛杉矶县'与'美国人口最多的县'。
• 当存在误导性证据（例如2014年的菲律宾电影）时，模型通过结构化推理成功避免了错误预测。
• 案例研究显示，将图结构与XLNet结合显著增强了模型对多跳证据的推理能力。
• 在提交时，该系统是公共FEVER排行榜上表现最佳的模型，验证了图驱动表示学习在事实核查中的有效性。