[论文解读] Relational Message Passing for Knowledge Graph Completion

Hongwei Wang, Hongyu Ren+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 37被引用 6

一句话总结

本文提出 PathCon，一种用于知识图谱补全的关系消息传递框架，通过基于边的中心化消息传递，同时建模实体对之间的关系上下文与关系路径。通过聚焦于关系类型而非实体嵌入，PathCon 实现了最先进性能，具备良好的归纳能力，并通过学习到的关系相关性提供可解释的预测结果。

ABSTRACT

Knowledge graph completion aims to predict missing relations between entities in a knowledge graph. In this work, we propose a relational message passing method for knowledge graph completion. Different from existing embedding-based methods, relational message passing only considers edge features (i.e., relation types) without entity IDs in the knowledge graph, and passes relational messages among edges iteratively to aggregate neighborhood information. Specifically, two kinds of neighborhood topology are modeled for a given entity pair under the relational message passing framework: (1) Relational context, which captures the relation types of edges adjacent to the given entity pair; (2) Relational paths, which characterize the relative position between the given two entities in the knowledge graph. The two message passing modules are combined together for relation prediction. Experimental results on knowledge graph benchmarks as well as our newly proposed dataset show that, our method PathCon outperforms state-of-the-art knowledge graph completion methods by a large margin. PathCon is also shown applicable to inductive settings where entities are not seen in training stage, and it is able to provide interpretable explanations for the predicted results. The code and all datasets are available at https://github.com/hwwang55/PathCon.

研究动机与目标

• 为解决基于嵌入的方法在知识图谱补全中的局限性，特别是其缺乏归纳偏差与可解释性。
• 更有效地建模局部子图结构——关系上下文与关系路径——以提升关系预测性能。
• 开发一种基于边特征（关系类型）而非节点嵌入的消息传递框架，实现归纳性与高效学习。
• 通过捕捉关系类型之间的相关性模式，为预测提供可解释的解释。
• 在标准基准数据集与归纳设置下，超越现有最先进方法。

提出的方法

• 提出关系消息传递机制，基于关系类型在边之间传递消息，而非节点，以捕捉邻域结构。
• 引入两个消息传递模块：一个用于关系上下文（头实体与尾实体的邻近关系），另一个用于关系路径（实体在图中的相对位置）。
• 采用节点与边之间的交替消息传递机制，在保持表达能力的同时降低计算复杂度。
• 使用可学习注意力机制融合关系上下文与路径表示，以生成最终的关系预测。
• 设计一种类似图神经网络的架构，其在关系图上运行，其中边代表关系，消息沿关系链流动。
• 应用可学习路由机制，沿关系路径聚合消息，从而建模长距离依赖关系。

实验结果

研究问题

• RQ1 同时建模关系上下文与关系路径是否能超越现有基于嵌入的方法，提升知识图谱补全性能？
• RQ2 基于边的中心化消息传递是否在归纳偏差与效率方面优于基于节点的消息传递？
• RQ3 所提出方法是否在标准基准数据集上实现最先进性能，包括在归纳设置下？
• RQ4 模型是否能通过捕捉关系类型之间的相关性，提供可解释的预测？
• RQ5 与标准基于节点的 GNN 相比，交替消息传递机制如何影响计算复杂度？

主要发现

• PathCon 在标准基准数据集（包括 FB15K-237 与 DDB14）上超越所有最先进知识图谱补全方法，取得新的 SOTA 结果。
• 模型在归纳设置下泛化良好，能够成功预测训练期间未见过的实体。
• 交替消息传递机制将计算复杂度降低至与传统基于节点的 GNN 相当的量级，具备良好的可扩展性。
• 关系上下文与关系路径对性能均至关重要，联合建模可带来显著的准确率提升。
• 模型通过突出显示重要关系路径与上下文关系，提供可解释的预测结果，案例研究在 FB15K-237 与 DDB14 上得到验证。
• 实验表明，基于 RNN 的路径建模性能劣于可学习注意力机制，表明路径表示的架构选择至关重要。