[论文解读] The expressive power of kth-order invariant graph networks

Floris Geerts|arXiv (Cornell University)|Jul 23, 2020

Advanced Graph Neural Networks参考文献 22被引用 5

一句话总结

该论文证明了k阶不变图网络（k-IGNs）的表达能力与k维Weisfeiler-Leman（k-WL）图同构测试相同，表明其无法区分比k-WL更多的图。关键结果表明k-IGNs的表达能力受k-WL限制，这意味着对于所有k ≥ 2，其在图可区分性方面与k-WL等价。

ABSTRACT

The expressive power of graph neural network formalisms is commonly measured by their ability to distinguish graphs. For many formalisms, the k-dimensional Weisfeiler-Leman (k-WL) graph isomorphism test is used as a yardstick. In this paper we consider the expressive power of kth-order invariant (linear) graph networks (k-IGNs). It is known that k-IGNs are expressive enough to simulate k-WL. This means that for any two graphs that can be distinguished by k-WL, one can find a k-IGN which also distinguishes those graphs. The question remains whether k-IGNs can distinguish more graphs than k-WL. This was recently shown to be false for k=2. Here, we generalise this result to arbitrary k. In other words, we show that k-IGNs are bounded in expressive power by k-WL. This implies that k-IGNs and k-WL are equally powerful in distinguishing graphs.

研究动机与目标

• 确定k阶不变图网络（k-IGNs）是否能区分比k维Weisfeiler-Leman（k-WL）测试更多的图。
• 解决Maron等人（2019a）提出的关于k-IGNs相对于k-WL的表达能力的开放问题。
• 使用与k-WL相关的逻辑和代数不变量，正式刻画k-IGNs的表达能力极限。
• 证明尽管架构设计复杂，k-IGNs的表达能力并不超过k-WL。

提出的方法

• 通过分析k个顶点的k元组中的相等模式，研究k-IGNs的行为，并将其与k-WL迭代关联起来。
• 证明k-IGN的一个层对应于k-WL的k−1次迭代，建立了层与迭代之间的对应关系。
• 分析依赖于k元组上的逻辑公式来表达k-WL的颜色分配，表明k-IGNs可模拟k-WL，且迭代次数相差一个常数因子。
• 采用诸如从树宽有界的图出发的同态计数和线性代数算子等不变量，来刻画不可区分性。
• 证明使用了一个关键引理：在等价图中，k-WL对k元组的颜色分配必须在大小上一致，而k-IGNs必须保持这一性质。
• 根据相等模式中是否存在已使用的常量类，区分不同情形，以处理公式中的存在量词。

实验结果

研究问题

• RQ1 对于k ≥ 2，k-IGNs是否能区分比k-WL更多的图？
• RQ2 k-IGNs与k-WL之间是否存在严格的表达能力层级关系，还是二者等价？
• RQ3 k-IGN中的层数与k-WL中的迭代次数之间的确切关系是什么？
• RQ4 k-IGNs是否能以常数因子外的范围模拟k-WL，还是存在根本性限制？
• RQ5 k元组中的相等模式是否以与k-WL匹配的方式限制k-IGNs的表达能力？

主要发现

• k-IGNs的表达能力并不超过k-WL；对于所有k ≥ 2，其在图可区分性方面受k-WL限制。
• k-IGN的一个层对应于k-WL的k−1次迭代，意味着其收敛速度相对于k-WL具有对数级加速。
• k-IGNs的表达能力与k-WL完全等价，即它们能区分相同的非同构图对。
• 该研究证实，k-IGNs无法检测超出k-WL能力范围的图属性，例如长度大于2k−1的环，或超过特定大小的团。
• 分析表明，k-IGNs保留了诸如从树宽≤ k−1的图出发的同态计数等不变量，而这些不变量已被证明可刻画k-WL的不可区分性。
• 结果表明，k-IGNs可通过允许的相等模式进行参数化，从而在表达能力与计算成本之间实现权衡。