[论文解读] Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries

Fabrizio Frasca, Beatrice Bevilacqua+2 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用 21

一句话总结

本文通过改进的对称群分析节点基 Subgraph GNN，证明 3-WL 上界，提出 ReIGN(2) 作为统一的层空间，并给出 SUN 以超越先前模型在基准上的表现。

ABSTRACT

Subgraph GNNs are a recent class of expressive Graph Neural Networks (GNNs) which model graphs as collections of subgraphs. So far, the design space of possible Subgraph GNN architectures as well as their basic theoretical properties are still largely unexplored. In this paper, we study the most prominent form of subgraph methods, which employs node-based subgraph selection policies such as ego-networks or node marking and deletion. We address two central questions: (1) What is the upper-bound of the expressive power of these methods? and (2) What is the family of equivariant message passing layers on these sets of subgraphs?. Our first step in answering these questions is a novel symmetry analysis which shows that modelling the symmetries of node-based subgraph collections requires a significantly smaller symmetry group than the one adopted in previous works. This analysis is then used to establish a link between Subgraph GNNs and Invariant Graph Networks (IGNs). We answer the questions above by first bounding the expressive power of subgraph methods by 3-WL, and then proposing a general family of message-passing layers for subgraph methods that generalises all previous node-based Subgraph GNNs. Finally, we design a novel Subgraph GNN dubbed SUN, which theoretically unifies previous architectures while providing better empirical performance on multiple benchmarks.

研究动机与目标

• 用改进的对称群来表征节点基 Subgraph GNN 的表达能力。
• 将 Subgraph GNN 与 Invariant Graph Networks (IGNs) 联系起来，并用 3-WL 来界定它们的能力。
• 提出一个通用、可处理的层空间（ReIGN(2)），涵盖现有方法。
• 引入 SUN（Subgraph Union Network），作为一个统一且更具表达力的体系结构。
• 证明 SUN 的经验改进在标准基准上。

提出的方法

• 进行对称性分析，显示节点基子图集合由一个同时作用于节点和子图的 S_n 全排列支配。
• 证明现有的基于节点的 Subgraph GNN 可以通过 3-IGN 实现，从而将它们的表达能力界定在 3-WL。
• 开发 ReIGN(2)，这是一个扩展的 2-IGN 框架，具有局部和全局池化操作，能够恢复并推广先前的 Subgraph GNN 层。
• 展示 SUN 作为 ReIGN(2) 的具体实例化，统一了先前的结构并包含新的算子。
• 证明 SUN 的堆叠可以实现已知的 Subgraph GNN 层，并将 SUN 定位为一个更实用、表达力更强的替代方案。

实验结果

研究问题

• RQ1 节点基 Subgraph GNN 的节点基选择策略下的上界表达能力是什么？
• RQ2 节点基子图袋的对称性如何限制等变层，IGN 基本形式如何帮助？
• RQ3 一个通用、可处理的层空间（ReIGN(2)）是否能够捕获并扩展现有的 Subgraph GNN？
• RQ4 SUN 架构是否能够统一现有方法并在基准数据集上提升经验性能？

主要发现

• 节点基子图策略由一个单一的置换群 S_n 支配，这比以往的两群对称性模型更精细，并与 3-IGNs 对齐。
• 已知的节点基 Subgraph GNN 的表达能力受到 3-WL 的界定，因为它们可以通过 3-IGN 实现。
• ReIGN(2) 提供了一个可处理、具表达力的层空间，能够恢复所有先前的节点基 Subgraph GNN，并支持新的操作。
• SUN（Subgraph Union Network）在 ReIGN(2) 内推广了先前的方法，并在基准上展示了改进的经验性能。
• 命题表明 SUN 层可以通过 ReIGN(2) 堆叠实现，且 SUN 包含现有 Subgraph GNN 层。