[论文解读] Path Neural Networks: Expressive and Accurate Graph Neural Networks

Gaspard Michel, Giannis Nikolentzos+2 more|arXiv (Cornell University)|Jun 9, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出路径神经网络（PathNNs），一种新型图神经网络，通过使用循环层聚合路径表示——具体包括单条最短路径、所有最短路径以及长度不超过K的所有简单路径——来增强模型的表达能力。作者证明了其中两个变体的表达能力超过1维Weisfeiler-Leman（1-WL）算法，并在合成数据集和真实世界图数据集上通过实证验证了这一点，PathNNs在图分类和回归任务中表现优于当前最先进模型。

ABSTRACT

Graph neural networks (GNNs) have recently become the standard approach for learning with graph-structured data. Prior work has shed light into their potential, but also their limitations. Unfortunately, it was shown that standard GNNs are limited in their expressive power. These models are no more powerful than the 1-dimensional Weisfeiler-Leman (1-WL) algorithm in terms of distinguishing non-isomorphic graphs. In this paper, we propose Path Neural Networks (PathNNs), a model that updates node representations by aggregating paths emanating from nodes. We derive three different variants of the PathNN model that aggregate single shortest paths, all shortest paths and all simple paths of length up to K. We prove that two of these variants are strictly more powerful than the 1-WL algorithm, and we experimentally validate our theoretical results. We find that PathNNs can distinguish pairs of non-isomorphic graphs that are indistinguishable by 1-WL, while our most expressive PathNN variant can even distinguish between 3-WL indistinguishable graphs. The different PathNN variants are also evaluated on graph classification and graph regression datasets, where in most cases, they outperform the baseline methods.

研究动机与目标

• 为解决标准消息传递GNN表达能力有限的问题，这些GNN在区分非同构图方面最多仅与1-WL算法等价。
• 开发一种利用路径结构的GNN架构——已知可区分超越1-WL的图——同时保持多项式时间可计算性。
• 基于不同路径子集设计并评估PathNN的多个变体：单条最短路径、所有最短路径以及长度不超过K的所有简单路径。
• 理论上和实证上证明PathNN的表达能力超越1-WL，并在真实图学习基准上实现SOTA性能。

提出的方法

• PathNN通过使用循环层将每个节点发出的路径编码表示进行聚合，计算节点表示。
• 提出三种变体：PathNN-SP（单条最短路径）、PathNN-AP（所有最短路径）和PathNN-AP*（长度不超过K的所有简单路径）。
• 每条路径通过循环神经网络（RNN）编码，其输出通过可微池化机制聚合，形成最终的节点表示。
• 模型通过标准GNN优化目标端到端训练，用于图分类和回归任务。
• 理论分析表明，PathNN-AP和PathNN-AP*严格优于1-WL，因为它们可以区分1-WL无法区分的图。
• 路径计算被限制在多项式时间可解的子集内：最短路径（使用Dijkstra算法）和有界长度的简单路径（通过动态规划）。

实验结果

研究问题

• RQ1 基于路径的聚合能否在区分非同构图方面超越1-WL算法的表达能力？
• RQ2 哪些路径子集（如最短路径、所有简单路径）能产生最具表达力的GNN变体，同时保持计算可行性？
• RQ3 与现有SOTA GNN相比，PathNN在真实世界图学习基准上是否实现了SOTA性能？
• RQ4 PathNN能否有效建模图中的长距离依赖关系，这是否体现为图分类和回归任务性能的提升？

主要发现

• 两个PathNN变体——PathNN-AP（所有最短路径）和PathNN-AP*（长度不超过K的所有简单路径）——在理论上被证明严格优于1-WL算法，具有更高的表达能力。
• 在合成数据集上，PathNN成功区分了1-WL无法区分的非同构图，包括一些甚至无法被3-WL算法区分的图。
• 在Peptides-Functional数据集上，PathNN-SP+相比GCN在平均精度上实现了8.86%的绝对提升；在Peptides-Structural数据集上，相比GatedGCN将平均绝对误差降低了8.80%。
• 在ogbg-molhiv图分类基准上，PathNN-SP+实现了79.17%的ROC-AUC分数，在所有测试方法中排名第三。
• 在ZINC12K图回归数据集上，PathNN-AP取得了0.090 ± 0.004的最佳平均绝对误差，优于所有基线模型，包括CIN和Graphormer等SOTA模型。
• 尽管PathNN-AP*变体表达能力最强，但在ogbg-molhiv上性能略低于PathNN-SP+，表明表达能力与优化稳定性之间存在权衡。