[论文解读] Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks

Cristian Bodnar, Fabrizio Frasca+5 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Graph Neural Networks参考文献 62被引用 46

一句话总结

本文提出基于单纯复形的消息传递简化网络（MPSN），证明 SWL 能力等同于 MPSN 且超过 WL，通过线性区域分析表达能力，并在难以区分的图类和定向感知任务上展示更强的判别力。

ABSTRACT

The pairwise interaction paradigm of graph machine learning has predominantly governed the modelling of relational systems. However, graphs alone cannot capture the multi-level interactions present in many complex systems and the expressive power of such schemes was proven to be limited. To overcome these limitations, we propose Message Passing Simplicial Networks (MPSNs), a class of models that perform message passing on simplicial complexes (SCs). To theoretically analyse the expressivity of our model we introduce a Simplicial Weisfeiler-Lehman (SWL) colouring procedure for distinguishing non-isomorphic SCs. We relate the power of SWL to the problem of distinguishing non-isomorphic graphs and show that SWL and MPSNs are strictly more powerful than the WL test and not less powerful than the 3-WL test. We deepen the analysis by comparing our model with traditional graph neural networks (GNNs) with ReLU activations in terms of the number of linear regions of the functions they can represent. We empirically support our theoretical claims by showing that MPSNs can distinguish challenging strongly regular graphs for which GNNs fail and, when equipped with orientation equivariant layers, they can improve classification accuracy in oriented SCs compared to a GNN baseline.

研究动机与目标

• 推动超越图的高阶关系建模，以捕捉多层级交互。
• 定义 Simplicial Weisfeiler-Lehman (SWL) 以区分同构与非同构的单纯复形。
• 提出 Message Passing Simplicial Networks (MPSNs) 并证明它们具备 SWL 表达能力。
• 比较 MPSNs 相对于 GNNs 和 SCNNs 的表达能力与函数复杂度。
• 在具有挑战性的图族和定向感知 SC 任务上展示经验优势。

提出的方法

• 定义定向单纯复形及其欧拉/边界结构。
• 开发具有邻接关系（边界、共边界、下界、上界）的 SWL 着色及更新规则。
• 证明 SWL 与 MPSN 等价并优于 WL，同时不劣于 3-WL。
• 描述具有四种消息类型、不可约邻域聚合器和单纯复形感知读出 的 MPSN 层。
• 将 MPSN 与谱单纯复形卷积联系起来，并讨论在单纯复形重标记和定向下的等变性。
• 提供 MPSN 消息传递及提升至 clique 复形的复杂度分析。

实验结果

研究问题

• RQ1 通过 clique 复形提升，SWL 能否比 WL 在图上更强地区分非同构的单纯复形？
• RQ2 在高阶设置中，MPSNs 能否达到与 SWL 相同的表达能力并优于传统的 GNNs 与 SCNNs？
• RQ3 MPSN 的线性区域数量与 GNNs 和 SCNNs 相比有何差异，这对表示能力有何含义？
• RQ4 定向等变的 MPSN 层是否在定向单纯复形和边流任务上提供更好的性能？
• RQ5 在 MPSN 中使用高阶邻接关系的计算权衡是什么？

主要发现

• SWL 在将图提升为 clique 复形时，严格比 WL 更强，且不弱于 3-WL。
• MPSNs 在区分非同构单纯复形方面和 SWL 一样强。
• 在 ReLU 激活下，MPSN 具有比 GNNs 和 SCNNs 更高的潜在函数复杂度（线性区域）。
• 经验结果显示 MPSNs 能区分 GNNs 无法分辨的具有挑战性的强正则图对。
• 定向等变的 MPSN 层在定向 SC 任务和边流分类上相较基线提升性能。
• Clique-复形提升使 MPSNs 在图同构任务上超越 WL，包括具有挑战性的 SR 图。