[论文解读] Weisfeiler and Leman go Machine Learning: The Story so far

Christopher G. Morris, Yaron Lipman+6 more|arXiv (Cornell University)|Dec 18, 2021

Advanced Graph Neural Networks被引用 28

一句话总结

对 Weisfeiler–Leman 算法在图机器学习中的支撑作用的综合综述，包括理论、图核、GNN、等变网络及应用。

ABSTRACT

In recent years, algorithms and neural architectures based on the Weisfeiler--Leman algorithm, a well-known heuristic for the graph isomorphism problem, have emerged as a powerful tool for machine learning with graphs and relational data. Here, we give a comprehensive overview of the algorithm's use in a machine-learning setting, focusing on the supervised regime. We discuss the theoretical background, show how to use it for supervised graph and node representation learning, discuss recent extensions, and outline the algorithm's connection to (permutation-)equivariant neural architectures. Moreover, we give an overview of current applications and future directions to stimulate further research.

研究动机与目标

• 调查 Weisfeiler–Leman 算法及其在图同构中的广义化的理论基础。
• 评估基于 WL 范式的图核方法。
• 考察基于 WL 的方法与图神经网络（GNNs）之间的联系。
• 讨论对高阶 WL、等变神经网络架构及普适性结果的扩展。
• 概述 WL 指导的图学习中的当前应用、挑战和未来研究方向。

提出的方法

• 描述 1-WL（颜色细化）及其区分非同构图的能力。
• 将其推广到 k 维 WL，通过对节点的 k 元组着色来提高表达能力。
• 引入 oblivious k-WL 变体并比较其表达能力。
• 通过等价性和普适性结果，将基于 WL 的方法与图核以及神经网络架构联系起来。
• 讨论理论属性，包括可识别性、次图类的闭合性质，以及 WL 维度。

实验结果

研究问题

• RQ1 Weisfeiler–Leman 等级结构如何与 ML 中图表示的表达能力相关？
• RQ2 在区分能力和普适性方面，基于 WL 的方法与图神经网络之间的联系是什么？
• RQ3 高阶 WL 与等变架构如何扩展基于 WL 的图学习的能力？
• RQ4 WL 引导的图方法在 ML 中的实际意义、应用和未来方向是什么？

主要发现

• 1-WL 为图同构提供了一个强大但不完美的启发式方法，通常可以区分许多图，但也存在已知的局限性。
• 提升 WL 的维度 k 会增加表达能力，其中 k+1-WL 能区分某些 k-WL 无法区分的图。
• 存在图在 k-WL 下无法区分，但在 (k+1)-WL 下可以区分，确立了表达力层次结构。
• WL 与图神经网络的联系表明，标准 GNN 的能力受 1-WL 的限制，而高阶 GNN 与更高的 WL 变体对齐，在某些条件下可以达到普适性。
• 等变和高阶图网络与 WL 等级关系密切，提供具有强表达力的基于原理的图结构数据架构。
• WL 框架为广泛的应用提供了信息，并指向在扩展表达力、泛化和鲁棒性方面的未来方向。