[论文解读] Subgraph Neighboring Relations Infomax for Inductive Link Prediction on Knowledge Graphs

Xiaohan Xu, Peng Zhang+3 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

该论文提出了一种新型归纳式链接预测模型——子图邻接关系互信息最大化（SNRI），通过利用完整的邻接关系特征和路径，提升对未见实体和稀疏子图的泛化能力。通过引入互信息最大化来建模全局关系结构，SNRI 显著优于当前最先进方法，尤其在低密度子图上表现突出，证明了整体邻接关系利用的有效性。

ABSTRACT

Inductive link prediction for knowledge graph aims at predicting missing links between unseen entities, those not shown in training stage. Most previous works learn entity-specific embeddings of entities, which cannot handle unseen entities. Recent several methods utilize enclosing subgraph to obtain inductive ability. However, all these works only consider the enclosing part of subgraph without complete neighboring relations, which leads to the issue that partial neighboring relations are neglected, and sparse subgraphs are hard to be handled. To address that, we propose Subgraph Neighboring Relations Infomax, SNRI, which sufficiently exploits complete neighboring relations from two aspects: neighboring relational feature for node feature and neighboring relational path for sparse subgraph. To further model neighboring relations in a global way, we innovatively apply mutual information (MI) maximization for knowledge graph. Experiments show that SNRI outperforms existing state-of-art methods by a large margin on inductive link prediction task, and verify the effectiveness of exploring complete neighboring relations in a global way to characterize node features and reason on sparse subgraphs.

研究动机与目标

• 解决现有归纳式链接预测方法仅依赖包围子图、忽视完整邻接关系的局限性。
• 提升在包围子图稀疏或为空时传统方法失效场景下的性能。
• 通过整合超越局部子图的完整关系上下文，增强实体表征能力。
• 利用互信息最大化建模长程关系依赖，实现全局关系结构建模。
• 在知识图谱中实现对未见实体和稀疏子图的鲁棒归纳推理。

提出的方法

• SNRI 为每个三元组提取包围子图，但保留所有邻接关系用于实体表征。
• 通过注意力聚合机制对完整的邻接关系邻域进行邻接关系特征计算。
• 利用包围子图外部的关系构建邻接关系路径，以建模稀疏子图。
• 应用互信息最大化，将局部子图表征与全局关系路径表征对齐。
• 采用联合训练策略，同时优化局部子图建模与全局关系路径学习。
• 模型使用对比学习目标，最大化子图表征与关系路径表征之间的互信息。

实验结果

研究问题

• RQ1 在包围子图之外引入完整的邻接关系是否能提升归纳式链接预测性能？
• RQ2 互信息最大化在捕捉归纳推理所需的全局关系结构方面有多有效？
• RQ3 该模型在包围子图为零或极简的稀疏子图上是否具有更好的泛化能力？
• RQ4 邻接关系特征与邻接关系路径在提升模型性能方面各自贡献如何？
• RQ5 该模型能否学习到对归纳推理有意义且信息丰富的关系路径？

主要发现

• SNRI 在 WN18RR v1 和 v4 上均取得最先进性能，Hits@10 分数分别为 87.23 和 83.32，优于先前最先进方法。
• 在低密度子图上，SNRI 展现出显著性能优势，尤其在最稀疏范围内，证实其对稀疏性的鲁棒性。
• 消融实验表明，移除邻接关系特征会使性能下降 0.7%，凸显其在表达性节点表征中的重要性。
• 移除邻接关系路径导致性能下降更大，表明其在处理稀疏子图中的关键作用。
• 移除互信息最大化导致 Hits@10 平均下降 1.7%，证明全局结构建模的价值。
• 案例研究证实，SNRI 能学习到有意义的关系路径，对信息丰富的多关系路径（如 (related_form, related_form, _also_see)）赋予更高权重。