[论文解读] Relational Message Passing for Fully Inductive Knowledge Graph Completion

Yuxia Geng, Jiaoyan Chen+5 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出RMPI，一种用于完全归纳知识图谱补全的关联消息传递网络，通过直接在关系之间传递消息来利用关联模式。通过采用图剪枝、关系感知注意力机制以及本体模式集成，RMPI在完全归纳KGC基准上实现了最先进性能，同时在处理未见实体和未见关系方面优于现有方法。

ABSTRACT

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

研究动机与目标

• 解决在推理过程中实体和关系均未见的完全归纳设定下的知识图谱补全挑战。
• 克服现有方法的局限性，这些方法假设关系是已知的，或依赖于文本嵌入等外部资源。
• 开发一种显式建模关联模式而非仅关注实体的消息传递机制。
• 通过图剪枝和通过揭示子图特征来处理空子图，提升推理效率与鲁棒性。
• 集成本体模式以丰富关系语义并增强对未见关系的归纳泛化能力。

提出的方法

• 提出一种关联消息传递网络，直接在关系之间传递消息而非通过实体，以捕捉高阶关联模式。
• 引入一种图剪枝策略，通过移除无关的子图组件来降低计算成本，同时保留关键推理路径。
• 设计一种目标关系感知的邻域注意力机制，根据邻近关系与预测任务的相关性动态加权。
• 利用揭示目标三元组结构的子图——即揭示性子图——的判别性特征，以处理封闭子图为零的情况。
• 将本体模式信息注入消息传递过程，以丰富关系表示并提升对未见关系的泛化能力。
• 采用负采样策略，通过基于边缘的损失函数端到端训练模型，以优化三元组评分。

(a)

实验结果

研究问题

• RQ1 在关系之间进行关联消息传递是否能超越以实体为中心的消息传递，在知识图谱补全中实现更好的归纳泛化？
• RQ2 所提出的图剪枝策略在保持性能的同时，是否能有效降低计算开销？
• RQ3 集成本体模式在完全归纳KGC任务中的性能提升程度如何？
• RQ4 该方法是否能有效处理主体、对象和关系全部未见的复杂情况？
• RQ5 目标关系感知注意力机制与标准注意力或均匀聚合相比，在子图推理中的表现如何？

主要发现

• RMPI在多个完全归纳KGC基准上达到最先进性能，优于MaKEr、GraIL和TACT等现有方法。
• 消融实验表明，本体模式注入、目标关系感知注意力和揭示性子图特征聚合等各组件均显著提升性能。
• 图剪枝将推理时间最多减少40%而未损失准确率，证明了效率的显著提升。
• 该方法成功处理了完全未见关系的情况，而大多数先前方法在该设定下表现不佳或需依赖外部资源。
• 在Wikidata-100K基准上，引入本体模式使Hits@10的相对提升最高达6.2%。
• 该模型在多种数据集（包括Wikidata-100K、YAGO3-10和NELL-995）上均表现出良好泛化能力，显示出对不同知识图谱结构的鲁棒性。

(b)