[论文解读] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar+2 more|arXiv (Cornell University)|May 29, 2019

Advanced Graph Neural Networks被引用 98

一句话总结

本论文证明了 GNN 区分非同构图的能力与在图上对置换不变函数的普适近似能力之间的等价性，提出一个 sigma-代数框架来比较 GNN 表达能力，并提出 Ring-GNN，这是 2-IGN 的扩展，能够区分 2-IGN 无法区分的某些规则图。

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

研究动机与目标

• 桥接 GNN 表达能力的两种视角：图同构测试与不变量函数近似。
• 通过 sigma-代数形式化表达能力，以比较不同的 GNN 变体和测试。
• 展示 2-IGN 在具有相同度数的非同构规则图上的局限性。
• 提出 Ring-GNN 作为一个可行的扩展，提升相对于 2-IGN 的表达能力。

提出的方法

• 在图空间上定义 GIso-判别性和普遍近似的函数族。
• 证明普遍近似蕴含 GIso-判别性，反之，带增广的 GIso-判别性在有限和连续特征空间下可推导出普遍近似。
• 通过由函数族生成的 sigma-代数来表征表达能力，并将其与图同构类相关联。
• 演示 2-IGN 的局限性（无法区分某些非同构的规则图），并引入 Ring-GNN 通过利用不变矩阵运算环来克服这一点。
• 提供一个实用的 Ring-GNN 架构，其层设计将置换等变线性映射与非线性组合，以在不使用高阶张量的情况下捕捉更高阶的相互作用。

实验结果

研究问题

• RQ1 如果一类置换不变的图函数能够普遍近似不变函数，那么它是否可以区分所有非同构图？
• RQ2 由函数族生成的 sigma-代数如何量化并比较不同 GNN 架构的表达能力？
• RQ3 将 2-IGN 拓展为具有不变算子环的 Ring-GNN，是否能超越其在规则图上的局限？
• RQ4 与高阶 GNN 相比，在 Ring-GNN 提升表达能力时的实际计算权衡有哪些？
• RQ5 在作为同构性测试与函数近似器评估时，GNN 在合成数据集（CSL）和现实世界数据集上的表现如何？

主要发现

• 一个函数族的普适性意味着 GIso-判别；反之，在有限空间中，带增广的 GIso-判别性可实现普遍近似。
• sigma-代数框架将函数族的表达能力等价于所生成的 sigma-代数的细度，从而为 GNN 变体之间的形式比较提供依据。
• 2-IGN 不能区分具有相同度数的非同构规则图，说明表达能力的局限。
• Ring-GNN 基于不变矩阵环的扩展，能够区分 CSL 图对，是对 2-IGN 表达能力提高的证据。
• Ring-GNN 在 CSL 分类以及多个现实数据集（IMDB、COLLAB、MUTAG、PTC、PROTEINS）上的性能与 2-IGN 相当或更优；在某些情况下可达到或超过 GIN。
• Ring-GNN 架构保持可处理的复杂度（大致为 O(n^2.38)），相对于高阶张量 GNN，同时能够实现更高阶的交互。