[论文解读] Rethinking the Expressive Power of GNNs via Graph Biconnectivity

Bohang Zhang, Shengjie Luo+2 more|arXiv (Cornell University)|Jan 23, 2023

Advanced Graph Neural Networks被引用 15

一句话总结

本文提出 Generalized Distance Weisfeiler-Lehman (GD-WL) 来在理论上解决所有双连通性问题，并展示一个 Transformer 风格的 Graphormer-GD 实现，具有表达力强、效率高、实际表现出色。

ABSTRACT

Designing expressive Graph Neural Networks (GNNs) is a central topic in learning graph-structured data. While numerous approaches have been proposed to improve GNNs in terms of the Weisfeiler-Lehman (WL) test, generally there is still a lack of deep understanding of what additional power they can systematically and provably gain. In this paper, we take a fundamentally different perspective to study the expressive power of GNNs beyond the WL test. Specifically, we introduce a novel class of expressivity metrics via graph biconnectivity and highlight their importance in both theory and practice. As biconnectivity can be easily calculated using simple algorithms that have linear computational costs, it is natural to expect that popular GNNs can learn it easily as well. However, after a thorough review of prior GNN architectures, we surprisingly find that most of them are not expressive for any of these metrics. The only exception is the ESAN framework, for which we give a theoretical justification of its power. We proceed to introduce a principled and more efficient approach, called the Generalized Distance Weisfeiler-Lehman (GD-WL), which is provably expressive for all biconnectivity metrics. Practically, we show GD-WL can be implemented by a Transformer-like architecture that preserves expressiveness and enjoys full parallelizability. A set of experiments on both synthetic and real datasets demonstrates that our approach can consistently outperform prior GNN architectures.

研究动机与目标

• 从 WL 分层之外出发，通过图的双连通性研究 GNN 表达能力。
• 识别流行 GNN 在学习双连通性概念方面的局限。
• 提出 GD-WL 作为一个原理性、有效的双连通性任务框架。
• 从理论和经验上展示 GD-WL 具备强表达力和实用性能。

提出的方法

• 通过将距离度量嵌入 WL 聚合（方程 (Equation 3)），提出 Generalized Distance Weisfeiler-Lehman (GD-WL)。
• 使用最短路径距离将 SPD-WL 特化，以解决边双连通性（定理 4.1）。
• 使用电阻距离引入 RD-WL，以解决顶点双连通性（定理 4.2）。
• 证明 GD-WL 对所有双连通性问题都具备完全表达力（推论 4.3）。
• 提出一个实用的图变换器实现（Graphormer-GD），将距离注入多头注意力并达到 GD-WL 的表达力。
• 给出关于复杂性和并行性的理论与经验分析（Θ(n) 空间，Θ(n^2) 每轮时间）。
• 证明 Graphormer-GD 在检测割点和割边方面达到完美准确率，并在基准测试中优于先前体系结构。

实验结果

研究问题

• RQ1 割点和割边（二者）问题是否可以在超越 1-WL 的可证明表达力中被刻画和解决？
• RQ2 距离感知的细化（SPD-WL、RD-WL）是否足以捕捉所有的双连通性信息？
• RQ3 是否存在一个原理性、有效的 GNN 设计（GD-WL），能够在理论表达力匹配并且适用于大图？
• RQ4 在不牺牲表达力的前提下，GD-WL 能否在像 Graph Transformers 这样的并行架构中实现？

主要发现

• 1-WL 和许多常见的 GNN 不能解决双连通性问题（割顶/割边、BC 树）。
• DSS-WL 能识别割顶/割边，但计算成本高；节点标记对表达力至关重要。
• SPD-WL 对边双连通性是完全表达的，RD-WL 对顶点双连通性是完全表达的（定理 4.1 和 4.2）。
• GD-WL 结合 SPD 和 RD 距离对所有双连通性问题是完全表达的（推论 4.3）。
• Graphormer-GD，一种类似 Transformer 的实现，与 GD-WL 表达力同等，在检测割顶/割边方面达到完美准确性，并且在基准测试中优于现有 GNN。