[论文解读] Weisfeiler and Lehman Go Cellular: CW Networks

Cristian Bodnar, Fabrizio Frasca+5 more|arXiv (Cornell University)|Jun 23, 2021

Machine Learning in Materials Science参考文献 70被引用 6

一句话总结

该论文提出了CW网络（CWNs），一种新型图神经网络框架，将消息传递机制推广至规则胞腔复形，实现了层次化、可证明比标准GNN更具表达能力的学习。通过将分子图通过环结构作为2-胞腔升维为胞腔复形，CWNs在分子图基准测试中取得最先进性能，在ZINC数据集上达到0.079的MAE，并展现出对结构复杂性的更强鲁棒性。

ABSTRACT

Graph Neural Networks (GNNs) are limited in their expressive power, struggle with long-range interactions and lack a principled way to model higher-order structures. These problems can be attributed to the strong coupling between the computational graph and the input graph structure. The recently proposed Message Passing Simplicial Networks naturally decouple these elements by performing message passing on the clique complex of the graph. Nevertheless, these models can be severely constrained by the rigid combinatorial structure of Simplicial Complexes (SCs). In this work, we extend recent theoretical results on SCs to regular Cell Complexes, topological objects that flexibly subsume SCs and graphs. We show that this generalisation provides a powerful set of graph "lifting" transformations, each leading to a unique hierarchical message passing procedure. The resulting methods, which we collectively call CW Networks (CWNs), are strictly more powerful than the WL test and not less powerful than the 3-WL test. In particular, we demonstrate the effectiveness of one such scheme, based on rings, when applied to molecular graph problems. The proposed architecture benefits from provably larger expressivity than commonly used GNNs, principled modelling of higher-order signals and from compressing the distances between nodes. We demonstrate that our model achieves state-of-the-art results on a variety of molecular datasets.

研究动机与目标

• 解决标准图神经网络（GNN）表达能力有限的问题，其表达能力最多仅相当于Weisfeiler-Lehman（WL）测试。
• 克服现有模型（如消息传递单纯复形网络MPSNs）依赖刚性单纯复形的局限性。
• 开发一种灵活的层次化消息传递框架，通过胞腔复形解耦计算结构与输入图结构。
• 实现对化学环等高阶结构的合理建模。
• 通过基于诱导环的新型升维变换，在分子图数据集上展示最先进性能。

提出的方法

• 提出基于规则胞腔复形（CW复形）的消息传递框架，将单纯复形推广至允许灵活的高维结构。
• 引入一种“升维”变换，通过在分子图中添加对应于诱导环（环）的2-胞腔，将输入图映射为胞腔复形。
• 在不同维度的胞腔间执行层次化消息传递（0-胞腔：节点，1-胞腔：边，2-胞腔：环），更新基于面偏序集中的邻域关系。
• 采用胞腔版的Weisfeiler-Lehman测试，对所得CW网络的表达能力进行理论分析。
• 实现一种读出机制，通过在每个维度上对胞腔表示进行求和（ZINC）或平均（Mol-HIV）进行聚合。
• 使用标准优化协议训练模型：Adam优化器配合学习率调度、早停策略，并对10次运行的权重初始化进行平均。

实验结果

研究问题

• RQ1 基于胞腔复形的消息传递框架是否能实现比标准GNN更高的表达能力？
• RQ2 在分子图学习任务中，包含环等高阶结构是否能提升性能？
• RQ3 所提出的CW网络框架是否严格强于WL测试，且不弱于3-WL测试？
• RQ4 基于诱导环的升维变换是否能带来更有效且直观的层次化消息传递过程？
• RQ5 CW网络中的层次化、多维消息传递是否在标准分子图基准上优于现有最先进GNN？

主要发现

• 通过胞腔版WL测试证明，CW网络严格强于标准Weisfeiler-Lehman（WL）测试，且不弱于3-WL测试。
• 基于环结构升维的CIN模型在ZINC数据集上达到0.079 ± 0.006的测试MAE，优于所有先前基线模型，包括GSN和HIMP。
• 消融实验表明，移除2-胞腔（环）会降低性能，'CIN No-Rings'模型达到0.159 MAE——仍优于无环感知模型GIN-E Custom（0.196 MAE）。
• 即使在容量受限（48个隐藏单元，2层）的情况下，模型在ZINC上仍达到0.094 MAE，表明其在参数约束下具有强大性能。
• 引入边特征与基于环的2-胞腔，可实现更丰富的边表示学习，如'CIN No-Rings'优于'GIN-E Custom'所证实。
• 在Mol-HIV数据集上，CIN模型实现了最先进性能，报告了测试AUC，但所提供文本中未给出具体数值。