[论文解读] Variational Knowledge Graph Reasoning

Wenhu Chen, Wenhan Xiong+2 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Graph Neural Networks参考文献 22被引用 20

一句话总结

本文提出Diva，一种变分推断框架，通过将路径建模为隐变量，统一了知识图谱中的路径查找与路径推理。通过在变分推断中联合优化后验近似器、先验（路径查找器）和似然（路径推理器），Diva在链接预测任务中实现了最先进性能，同时提升了对噪声和复杂推理场景的鲁棒性。

ABSTRACT

Inferring missing links in knowledge graphs (KG) has attracted a lot of attention from the research community. In this paper, we tackle a practical query answering task involving predicting the relation of a given entity pair. We frame this prediction problem as an inference problem in a probabilistic graphical model and aim at resolving it from a variational inference perspective. In order to model the relation between the query entity pair, we assume that there exists an underlying latent variable (paths connecting two nodes) in the KG, which carries the equivalent semantics of their relations. However, due to the intractability of connections in large KGs, we propose to use variation inference to maximize the evidence lower bound. More specifically, our framework ( extsc{Diva}) is composed of three modules, i.e. a posterior approximator, a prior (path finder), and a likelihood (path reasoner). By using variational inference, we are able to incorporate them closely into a unified architecture and jointly optimize them to perform KG reasoning. With active interactions among these sub-modules, extsc{Diva} is better at handling noise and coping with more complex reasoning scenarios. In order to evaluate our method, we conduct the experiment of the link prediction task on multiple datasets and achieve state-of-the-art performances on both datasets.

研究动机与目标

• 为解决现有知识图谱推理方法将路径查找与路径推理视为独立、非交互过程的局限性。
• 通过实现路径查找与路径推理模块之间的主动交互，提升对噪声和对抗性样本的鲁棒性。
• 开发一种统一的概率框架，将路径建模为隐变量，并通过变分推断实现联合优化。
• 在训练中引入负样本，以增强模型在未见推理场景下的泛化能力与性能。
• 在保持多跳链接预测高精度的同时，将该方法扩展至大规模知识图谱。

提出的方法

• 该框架在概率图模型中将实体对之间的关系建模为隐变量（路径），其中路径查找模块充当先验分布。
• 路径推理模块充当似然分布，基于学习到的表征将路径分类到关系类别中。
• 引入后验近似器以估计隐路径的真实后验分布，从而实现通过变分推断进行端到端训练。
• 通过使用基于神经网络的组件，最大化证据下界（ELBO）以联合优化先验、似然和后验近似器。
• 路径查找器使用固定束宽的束搜索来探索多个候选路径，而路径推理器则利用学习到的表征对每条路径进行打分。
• 在训练过程中显式引入负样本，以提升鲁棒性并防止对正向路径模式的过拟合。

实验结果

研究问题

• RQ1 如何在统一框架中联合优化路径查找与路径推理，以提升推理性能？
• RQ2 在变分推断框架中将路径建模为隐变量，是否能增强对噪声或不完整知识图谱的鲁棒性？
• RQ3 在训练中引入负样本在多跳知识图谱推理中在多大程度上能提升泛化能力？
• RQ4 路径查找器与路径推理器模块之间的交互如何影响复杂推理任务上的性能？
• RQ5 在路径查找过程中，平衡路径多样性与噪声的理想束宽是多少？

主要发现

• Diva在两个主流知识图谱基准数据集上实现了链接预测的最先进性能，优于先前方法。
• 由于路径查找与路径推理模块之间的主动交互，模型在噪声和对抗性样本下表现出更强的鲁棒性。
• 消融研究中的MAP与错误率曲线表明，束宽为5时在路径多样性和噪声之间实现了最佳平衡。
• 错误分析显示，大多数失败案例源于知识图谱噪声（如缺失或重复实体），而“错误推理”错误主要源于路径推理器，可通过改进算法加以改善。
• 通过联合训练和负样本利用，该框架成功扩展至大规模知识图谱，并在未见推理场景中表现出良好泛化能力。
• 表5中的失败案例表明，“重复实体”和“缺失实体”问题主要源于知识图谱质量，而“错误推理”错误为模型特异性问题，可通过改进实现优化。