[论文解读] Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability

Zehao Dong, Muhan Zhang+6 more|arXiv (Cornell University)|Sep 1, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

本文提出通用图规范化-GNN（UGC-GNN），通过整合图规范化技术增强图神经网络（GNNs）的表达能力，利用规范形式实现唯一节点标记，从而最大化表达能力。该方法在分子、生物和基因网络基准测试中表现出色，性能达到SOTA水平，最高提升达31%，同时在表达能力与模型稳定性之间取得良好平衡，展现出强大的泛化能力。

ABSTRACT

The expressivity of Graph Neural Networks (GNNs) has been studied broadly in recent years to reveal the design principles for more powerful GNNs. Graph canonization is known as a typical approach to distinguish non-isomorphic graphs, yet rarely adopted when developing expressive GNNs. This paper proposes to maximize the expressivity of GNNs by graph canonization, then the power of such GNNs is studies from the perspective of model stability. A stable GNN will map similar graphs to close graph representations in the vectorial space, and the stability of GNNs is critical to generalize their performance to unseen graphs. We theoretically reveal the trade-off of expressivity and stability in graph-canonization-enhanced GNNs. Then we introduce a notion of universal graph canonization as the general solution to address the trade-off and characterize a widely applicable sufficient condition to solve the universal graph canonization. A comprehensive set of experiments demonstrates the effectiveness of the proposed method. In many popular graph benchmark datasets, graph canonization successfully enhances GNNs and provides highly competitive performance, indicating the capability and great potential of proposed method in general graph representation learning. In graph datasets where the sufficient condition holds, GNNs enhanced by universal graph canonization consistently outperform GNN baselines and successfully improve the SOTA performance up to $31\%$, providing the optimal solution to numerous challenging real-world graph analytical tasks like gene network representation learning in bioinformatics.

研究动机与目标

• 为解决标准GNN表达能力受限的问题，其表达能力被限制在1-WL级别，无法区分某些非同构图。
• 探索通过图规范化增强的GNN中表达能力与模型稳定性的权衡，其中高表达能力可能损害泛化性能。
• 开发一种通用图规范化框架，实现可扩展、稳定且高度表达的GNN，适用于多种图学习任务。
• 证明图规范化可作为强大、高效且通用的GNN增强方法，优于现有表达能力强的架构，在真实世界数据集上表现更优。

提出的方法

• 提出一种通用图规范化框架，计算唯一、双射的节点标记函数 ρ(v|G)，将节点映射到1到n的整数，确保同构图产生相同的规范形式。
• 将规范形式用作GNN中的位置编码，用规范标签的一对一编码替代标准位置编码，以最大化结构区分能力。
• 提出通用图规范化的充分条件，实现对多种图类型高效且稳定的规范形式计算。
• 利用Nauty及其他高效规范工具，实现对实际规模图的近线性时间规范形式计算，确保可扩展性。
• 将规范形式作为输入集成至GNN（如GIN、GCN）中，增强节点与图表示，无需对网络架构进行大规模修改。
• 理论分析揭示表达能力与稳定性之间存在权衡，UGC-GNN通过受控的规范标记实现最优平衡。

实验结果

研究问题

• RQ1 图规范化能否在保持模型稳定性的同时，显著提升GNN的表达能力，使其超越1-WL？
• RQ2 在规范化增强的GNN中，表达能力与稳定性的理论权衡是什么？如何缓解这一问题？
• RQ3 是否存在一种高效且适用于多种图类型（包括分子与生物网络）的通用图规范化方法？
• RQ4 UGC-GNN在未见图上的泛化能力是否优于现有表达能力强的GNN，特别是在真实世界生物信息学任务中？
• RQ5 UGC-GNN在大规模数据集上的计算成本与高阶及基于子图的GNN相比如何？

主要发现

• UGC-GNN在多个基准数据集上达到SOTA性能，在基因网络表示学习任务中，SOTA结果最高提升达31%。
• 在大规模生物与分子图（如Mayo、RosMap、Cancer）上，UGC-GNN将每轮平均计算时间分别降低至13秒、10秒与89秒，优于PPGN与NGNN。
• 在大型图上，UGC-GNN避免了内存溢出（OOM）问题，而PPGN与NGNN因O(n²)与O(n³)的空间复杂度而失败。
• 该方法保持高度稳定性，能将相似图映射为接近的向量表示，从而增强对未见图的泛化能力。
• 在满足通用规范化充分条件的数据集中，UGC-GNN始终优于所有GNN基线模型，包括TransSynergy、SANEpool、Decagon与DimiG。
• 理论分析证实存在表达能力与稳定性之间的权衡，UGC-GNN通过受控的规范标记有效平衡了这一关系。