[论文解读] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar+2 more|arXiv (Cornell University)|May 29, 2019

Advanced Graph Neural Networks参考文献 29被引用 37

一句话总结

本文证明 GNN 在区分非同构图的能力与其在图上对置换不变函数的普遍近似能力之间的等价性，引入用于比较 GNN 表达能力的 sigma-代数框架，并提出 Ring-GNN，一种可处理的 2-IGN 的扩展，可区分 2-IGN 无法区分的某些正则图。

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

研究动机与目标

• 通过图同构测试和不变函数近似，激发对 GNN 表达能力的统一视角。
• 构建基于 sigma-代数的框架，以比较和分类 GNN 变体的表达能力。
• 证明 2-IGN 在非同构正则图上的局限性，并提出 Ring-GNN 作为可处理、表达力更强的替代。
• 提供实证证据，显示 Ring-GNN 在合成 CSL 图和真实数据集上的优越性能。

提出的方法

• 在图空间上定义 GIso-判别和普遍近似函数类。
• 证明 GIso判别 与普遍近似在有限与连续特征空间中的等价。
• 基于 sigma-代数的分类法来比较 GNN 与图同构测试。
• 指出 2-IGN 的局限性（不能区分某些正则图），通过使用环状不变矩阵的加法和乘法来构建 Ring-GNN 以克服。
• 描述 Ring-GNN 架构，带分层线性等变映射和最终的置换不变读取。
• 分析计算复杂度，并证明 Ring-GNN 相比高阶 k-IGNs 在表达某些高阶交互方面更可控。

实验结果

研究问题

• RQ1 GNN 区分非同构图的能力是否等价于其近似所有置换不变图函数的能力？
• RQ2 sigma-代数如何形式化并比较不同 GNN 架构的表达能力？
• RQ3 将 2-IGN 扩展为包含环状不变算子是否能在不产生高阶张量阶数的前提下提高表达能力？
• RQ4 Ring-GNN 是否能区分 2-IGN 无法区分的非同构正则图，并且在真实数据集上表现良好？

主要发现

• 置换不变量函数类的普遍性在有限与连续特征空间下等价于 GIso 判别。
• sigma-代数视角给出比较 GNN 与同构测试的正式层级；最大表达性对应 sigma(C) = sigma(Q)。
• 2-IGN 不能区分同度相同的非同构正则图（例如 CSL 图）。
• Ring-GNN 通过利用不变算子的环（矩阵加法/乘法）扩展 2-IGN，使其能够区分 2-IGN 无法区分的某些正则图，在 CSL 图和若干真实数据集上取得强实证表现。
• Ring-GNN 提供较优的计算扩展性（大致 O(n^2.38)），相较于高阶 k-IGN，并且与基于谱的增广兼容。