[论文解读] Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction

Zhaocheng Zhu, Zuobai Zhang+2 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Graph Neural Networks参考文献 75被引用 112

一句话总结

NBFNet 是一个神经框架，通过学习广义 Bellman-Ford 路径表示用于链接预测，使其在知识图和同构图上实现归纳、可解释且可扩展的预测，方法是使用可学习的 Indicator、Message 和 Aggregate 组件。

ABSTRACT

Link prediction is a very fundamental task on graphs. Inspired by traditional path-based methods, in this paper we propose a general and flexible representation learning framework based on paths for link prediction. Specifically, we define the representation of a pair of nodes as the generalized sum of all path representations, with each path representation as the generalized product of the edge representations in the path. Motivated by the Bellman-Ford algorithm for solving the shortest path problem, we show that the proposed path formulation can be efficiently solved by the generalized Bellman-Ford algorithm. To further improve the capacity of the path formulation, we propose the Neural Bellman-Ford Network (NBFNet), a general graph neural network framework that solves the path formulation with learned operators in the generalized Bellman-Ford algorithm. The NBFNet parameterizes the generalized Bellman-Ford algorithm with 3 neural components, namely INDICATOR, MESSAGE and AGGREGATE functions, which corresponds to the boundary condition, multiplication operator, and summation operator respectively. The NBFNet is very general, covers many traditional path-based methods, and can be applied to both homogeneous graphs and multi-relational graphs (e.g., knowledge graphs) in both transductive and inductive settings. Experiments on both homogeneous graphs and knowledge graphs show that the proposed NBFNet outperforms existing methods by a large margin in both transductive and inductive settings, achieving new state-of-the-art results.

研究动机与目标

• 提出一个通用的基于路径的表示学习框架用于链接预测，结合传统路径度量的可解释性与神经网络的能力。
• 定义一个广义的路径表示，其中一对表示对所有路径求和，每条路径表示对边表示进行乘积。
• 引入 NBFNet，一个对广义 Bellman-Ford 求解器的神经参数化，使用 Indicator、Message 和 Aggregate 函数。
• 展示 NBFNet 在同构图和知识图中，既有传递性场景也有归纳场景下都能获得出色的性能，且具备有竞争力的效率和可解释性。

提出的方法

• 将一对节点 h_q(u,v) 表示为从 u 到 v 的所有路径表示的广义和，每条路径表示为沿路径的边表示的广义乘积。
• 在带有求和与乘法运算符的半环框架下，通过广义 Bellman-Ford 算法高效求解路径表示。
• 用三个神经组件对广义 Bellman-Ford 算法进行参数化：Indicator（边界条件）、Message（乘法运算符）、Aggregate（求和运算符）。
• 边表示 w_q(x,r,v) 是可学习的，并且可以与知识图嵌入中的关系算子相关联；该模型支持归纳泛化。
• 使用负采样（PCA）和二元预测目标对知识图中的三元组和同构图中的边进行打分进行训练。
• 在每组三元组上实现摊销推理时间 O(|E| d / |V| + d^2)，实现可扩展的预测。

实验结果

研究问题

• RQ1 一个基于路径的表示框架是否能够捕捉并统一传统路径度量和现代图神经网络以进行链接预测？
• RQ2 是否可以在知识图和同构图上使用一个可学习的基于 Bellman-Ford 的方法，在归纳与传导设置下都实现准确的链接预测？
• RQ3 神经化算子（Indicator、Message、Aggregate）是否相对于手工设计的算子在路径表示中提升了性能和可解释性？

主要发现

• NBFNet 在跨数据集的知识图补全上显著超越最先进的方法，相对于最佳路径方法，在 HITS@1 上实现了显著的平均相对提升。
• 与基于嵌入的方法相比，NBFNet 获得显著提升（例如在 HITS@1 上平均相对提升约 18%），同时参数量远少于嵌入方法（大约 3M 对比 FB15k-237 上 TransE 的 30M）。
• NBFNet 在同构图的链接预测中给出强劲结果，在 Cora 和 PubMed 上超越若干基线，尽管 CiteSeer 的稀疏性，仍具竞争力。
• 在归纳关系预测中，NBFNet 在所有归纳分割上均获得最佳结果，相对于先前方法有显著提升（例如在 GraIL 上 HITS@10 的平均相对提升约 22%）。
• 消融研究表明，先进的边表示（如 RotatE、DistMult）和可学习的 Aggregate（PNA）带来明显的收益，且更深的架构在大约 6 层时趋于饱和地提升性能。
• 该框架通过允许提取对预测贡献最大的路径来提供路径级可解释性。