[论文解读] Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings

Christopher Morris, Gaurav Rattan+1 more|arXiv (Cornell University)|Apr 2, 2019

Machine Learning in Materials Science参考文献 125被引用 29

一句话总结

本文提出了一种稀疏、局部化的k维Weisfeiler-Leman算法变体，称为δ-k-LWL，通过基于顶点度数限制邻域探索的邻居子集，提升了图表示学习中的可扩展性和泛化能力。该方法在图分类任务中实现了最先进性能，并在大规模分子回归任务中表现出色，相较于基于密集k-WL的方法在速度和泛化能力上更优，同时保持了高于原始k-WL算法的表达能力。

ABSTRACT

Graph kernels based on the $1$-dimensional Weisfeiler-Leman algorithm and corresponding neural architectures recently emerged as powerful tools for (supervised) learning with graphs. However, due to the purely local nature of the algorithms, they might miss essential patterns in the given data and can only handle binary relations. The $k$-dimensional Weisfeiler-Leman algorithm addresses this by considering $k$-tuples, defined over the set of vertices, and defines a suitable notion of adjacency between these vertex tuples. Hence, it accounts for the higher-order interactions between vertices. However, it does not scale and may suffer from overfitting when used in a machine learning setting. Hence, it remains an important open problem to design WL-based graph learning methods that are simultaneously expressive, scalable, and non-overfitting. Here, we propose local variants and corresponding neural architectures, which consider a subset of the original neighborhood, making them more scalable, and less prone to overfitting. The expressive power of (one of) our algorithms is strictly higher than the original algorithm, in terms of ability to distinguish non-isomorphic graphs. Our experimental study confirms that the local algorithms, both kernel and neural architectures, lead to vastly reduced computation times, and prevent overfitting. The kernel version establishes a new state-of-the-art for graph classification on a wide range of benchmark datasets, while the neural version shows promising performance on large-scale molecular regression tasks.

研究动机与目标

• 解决k维Weisfeiler-Leman（k-WL）算法在图学习中面临的可扩展性和过拟合问题。
• 开发一种k-WL的局部变体，仅考虑每个k元组的邻居子集，以提升计算效率。
• 在区分非同构图方面，保持或超越k-WL的表达能力。
• 设计一种神经架构δ-k-LGNN，其表达能力与δ-k-LWL相当，且优于基于密集k-WL的GNN。
• 在基准图分类和大规模分子回归任务上，对方法进行实证验证。

提出的方法

• 提出δ-k-LWL，一种基于顶点度数限制邻域探索邻居子集的k-WL局部变体，降低计算成本。
• 基于构成顶点的度数，定义k元组之间的局部邻接关系，实现稀疏计算。
• 提出增强版本δ-k-LWL+，在最后一次迭代中添加标签函数（#），以防止过拟合。
• 开发δ-k-LGNN，一种具有与δ-k-LWL相同表达能力的高阶GNN架构，采用局部邻域聚合机制。
• 将δ-k-LWL与GNN的泛化理论相联系，表明其在泛化能力上优于基于密集k-WL的模型。
• 采用分层构造非同构图对的方法，证明δ-k-LWL相比k-WL具有更强的表达能力。

实验结果

研究问题

• RQ1 k-WL的局部变体能否在区分非同构图方面比原始k-WL具有更高的表达能力？
• RQ2 基于顶点度数限制邻域大小，是否能提升图学习中的可扩展性并减少过拟合？
• RQ3 基于局部k-WL的神经架构能否实现与k-WL相当的表达能力，同时具备更好的泛化能力？
• RQ4 在准确率、速度和泛化能力方面，该方法与最先进图核和GNN相比如何？
• RQ5 局部k-WL方法能否在大规模分子回归任务中实现可扩展性，同时保持高性能？

主要发现

• δ-k-LWL算法在表达能力上严格强于原始k-WL，能够区分k-WL无法区分的非同构图。
• δ-k-LWL的核版本在多种小规模和中等规模图分类基准上达到了新的最先进性能。
• 与全局k-WL和WLOA方法相比，δ-k-LWL核版本的计算时间减少了几个数量级。
• 神经架构δ-k-LGNN能有效防止过拟合，并在Zinc和Alchemy等大规模分子回归任务中表现出色。
• δ-k-LGNN的训练和推理时间显著快于基于密集k-WL的GNN，大尺度数据集上速度提升数倍。
• 该方法在泛化能力上优于基于密集k-WL的模型，表现为过拟合减少，并在多个数据集上保持一致的性能表现。