[论文解读] Provably Powerful Graph Networks

Haggai Maron, Heli Ben-Hamu+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 52被引用 18

一句话总结

本文提出了一种简单且可扩展的图神经网络（GNN），通过将多层感知机（MLPs）与单个矩阵乘法层结合，实现了比标准消息传递GNN更高的可证明表达能力。该模型在理论上被证明具有3-WL图同构性测试的表达能力——严格强于限制消息传递GNN的1-WL测试——同时保持了实际效率，并在图分类和回归基准测试中达到了最先进性能。

ABSTRACT

Recently, the Weisfeiler-Lehman (WL) graph isomorphism test was used to measure the expressive power of graph neural networks (GNN). It was shown that the popular message passing GNN cannot distinguish between graphs that are indistinguishable by the 1-WL test (Morris et al. 2018; Xu et al. 2019). Unfortunately, many simple instances of graphs are indistinguishable by the 1-WL test. In search for more expressive graph learning models we build upon the recent k-order invariant and equivariant graph neural networks (Maron et al. 2019a,b) and present two results: First, we show that such k-order networks can distinguish between non-isomorphic graphs as good as the k-WL tests, which are provably stronger than the 1-WL test for k>2. This makes these models strictly stronger than message passing models. Unfortunately, the higher expressiveness of these models comes with a computational cost of processing high order tensors. Second, setting our goal at building a provably stronger, simple and scalable model we show that a reduced 2-order network containing just scaled identity operator, augmented with a single quadratic operation (matrix multiplication) has a provable 3-WL expressive power. Differently put, we suggest a simple model that interleaves applications of standard Multilayer-Perceptron (MLP) applied to the feature dimension and matrix multiplication. We validate this model by presenting state of the art results on popular graph classification and regression tasks. To the best of our knowledge, this is the first practical invariant/equivariant model with guaranteed 3-WL expressiveness, strictly stronger than message passing models.

研究动机与目标

• 开发一种表达能力严格超越消息传递GNN的图神经网络模型，后者受限于1-WL同构性测试。
• 设计一种在保持高表达能力的同时计算实用且可扩展的模型，避免高阶张量运算的高昂成本。
• 提供可证明的理论保证，使表达能力等价于更强于1-WL和2-WL的3-WL测试。
• 在标准图学习基准上实证验证该模型，证明其在分类和回归任务中均达到最先进性能。

提出的方法

• 该模型采用简单架构，交替应用多层感知机（MLPs）于节点特征，以及对邻接矩阵或特征矩阵应用单个矩阵乘法层（即二次运算）。
• 利用幂和多对称多项式（PMP）表示邻域多重集，以支持表达能力的理论分析。
• 该模型设计用于操作二阶张量（即n×n矩阵），避免了k阶GNN中使用的高阶张量带来的计算负担。
• 理论分析证明，该模型实现了3-WL测试的表达能力，其严格强于限制消息传递GNN的1-WL测试。
• 该架构被设计为在排列下保持不变和等变，确保节点排序变化时表示一致。
• 使用标准深度学习优化方法进行训练，包括学习率调度和早停策略，并使用标准图基准进行评估。

实验结果

研究问题

• RQ1 能否设计一种简单且可扩展的GNN架构，实现超越受限于1-WL同构性测试的消息传递GNN的表达能力？
• RQ2 是否可能仅使用二阶张量和标准深度学习组件，构建具有可证明3-WL表达能力的GNN模型？
• RQ3 该模型在真实世界图分类和回归任务中的性能与最先进方法相比如何？
• RQ4 与具有更丰富等变线性层或仅使用MLP的模型相比，引入矩阵乘法层对泛化能力和表达能力的影响是什么？

主要发现

• 所提出的模型实现了可证明的3-WL表达能力，使其严格强于受限于1-WL表达能力的消息传递GNN。
• 在8个节点的图分类基准上，该模型在8个数据集中的6个中位列所有先前方法的前3名。
• 在QM9图回归任务中，当使用单个共享网络时，该模型在12个性质中的5个性质上实现了最低的平均绝对误差；当对每个性质使用独立网络时，该结果在12个性质中的9个上达到最低。
• 仅使用矩阵乘法和MLPs（MP）的模型在泛化能力上与使用完整线性等变层（MP+LIN）的模型相当，但计算成本显著更低。
• 该模型在性能上优于标准MLP基线和仅使用完整线性等变基的模型，表明矩阵乘法层在表达能力和泛化能力方面均至关重要。
• 该模型在多个数据集上表现稳健，包括社交网络、分子和化学化合物，展示了其广泛适用性和可扩展性。