[论文解读] Shortest Path Networks for Graph Property Prediction

Ralph Abboud, Radoslav Dimitrov+1 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出了最短路径消息传递神经网络（SP-MPNNs），这是消息传递神经网络的一种泛化形式，其通过在最短路径邻域上传播节点表征，而非仅通过直接邻居，从而缓解信息瓶颈和过度压缩问题。该框架在图属性预测基准测试中实现了最先进性能，包括QM9，通过在最短路径上进行结构化、非冗余的消息聚合，实现了更具表现力和整体性的节点表征。

ABSTRACT

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Our framework generalizes message passing neural networks, resulting in a class of more expressive models, including some recent state-of-the-art models. We verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the art results.

研究动机与目标

• 为解决传统消息传递图神经网络中的信息瓶颈和过度压缩问题，这些问题是长距离依赖学习的限制因素。
• 开发消息传递神经网络（MPNN）的泛化形式，通过最短路径邻域实现非相邻节点之间的直接通信。
• 正式分析所提框架相较于MPNN及其他图神经网络的表达能力与逻辑表征。
• 通过实证验证模型缓解过度压缩的能力，并在真实世界图属性预测任务中实现最先进性能。

提出的方法

• 提出一种新的消息传递范式，其中节点状态通过聚合其i跳最短路径邻域内节点的消息进行更新，该邻域定义为可通过长度为i的最短路径到达的节点。
• 引入多跳聚合机制，分别处理每一跳层级（1 ≤ i ≤ k）的消息，通过确保邻域互不相交来避免冗余。
• 设计一种泛化MPNN的框架，允许相隔多跳的节点之间直接通信，从而打破顺序信息压缩瓶颈。
• 采用一种简单而有效的实现方式，称为最短路径网络（SPN），其使用可学习的聚合函数和残差连接，以实现稳定训练。
• 将最短路径距离作为结构归纳偏置，使模型能够在不使用全连接注意力或高阶邻接矩阵幂次的情况下捕捉全局图结构。
• 将该框架应用于图分类与回归任务，并利用合成数据集验证其在减少过度压缩和提升泛化能力方面的有效性。

实验结果

研究问题

• RQ1 基于最短路径邻域聚合的消息传递框架是否能在捕捉长距离依赖方面优于标准MPNN？
• RQ2 所提出的SP-MPNN框架是否在表达能力上优于MPNN，特别是在区分MPNN无法区分的图对方面？
• RQ3 与传统MPNN相比，使用最短路径邻域在多大程度上减少了过度压缩？
• RQ4 该框架是否能在不增加架构复杂度的前提下，在真实世界图属性预测基准上实现最先进性能？

主要发现

• 所提出的最短路径网络（SPN）在QM9图回归基准测试中实现了最先进性能，其在多个属性上的表现优于包括Graphormer在内的先前模型。
• 在QM9上，R-SPN在k=10时，使用T=8层，G属性的平均绝对误差（MAE）达到最低值0.83，显著优于k=1的模型。
• 该模型在深度增加方面表现出更强的鲁棒性：当层数从T=4增至T=8时，k=10的模型误差仅增加8.6%，而k=1的模型误差则下降36.3%，表明其收敛更快且过度压缩更少。
• SP-MPNN比MPNN具有严格更强的表达能力，能够区分任何可通过1-WL测试或最短路径图核识别的图对。
• 合成实验结果证实SPN可缓解过度压缩：即使未经超参数调优，更高跳数的邻居（k > 1）也显著优于k=1的模型。
• 逻辑表征分析表明，SP-MPNN能够捕捉比MPNN更广泛的一类函数，证实其更强的表征能力。