[论文解读] Revisiting Over-smoothing and Over-squashing Using Ollivier-Ricci Curvature

Khang Nguyen, Hieu Nong+4 more|arXiv (Cornell University)|Nov 28, 2022

Human Pose and Action Recognition被引用 12

一句话总结

本文提出了一种统一的几何框架，利用Ollivier-Ricci曲率理解图神经网络（GNN）中的过平滑与过压缩现象。理论证明正曲率与过平滑相关，负曲率与过压缩相关，进而提出新颖的批量Ollivier-Ricci流（BORF）重布线方法，通过最小化拓扑扰动优化局部图几何结构，从而提升GNN性能。

ABSTRACT

Graph Neural Networks (GNNs) had been demonstrated to be inherently susceptible to the problems of over-smoothing and over-squashing. These issues prohibit the ability of GNNs to model complex graph interactions by limiting their effectiveness in taking into account distant information. Our study reveals the key connection between the local graph geometry and the occurrence of both of these issues, thereby providing a unified framework for studying them at a local scale using the Ollivier-Ricci curvature. Specifically, we demonstrate that over-smoothing is linked to positive graph curvature while over-squashing is linked to negative graph curvature. Based on our theory, we propose the Batch Ollivier-Ricci Flow, a novel rewiring algorithm capable of simultaneously addressing both over-smoothing and over-squashing.

研究动机与目标

• 建立一个统一的理论框架，利用局部图几何分析GNN中的过平滑与过压缩现象。
• 探究Ollivier-Ricci曲率与GNN两大核心限制——过平滑与过压缩之间的关系。
• 开发一种基于曲率的重布线方法，通过修改局部图结构，同时缓解上述两种问题。
• 通过实证验证所提方法在节点分类与图分类基准上的GNN性能提升效果。
• 在重布线过程中最小化拓扑扰动，同时最大化性能增益，确保方法的实际可应用性。

提出的方法

• 使用Ollivier-Ricci曲率作为局部几何度量，表征边级别的图结构，量化邻近节点之间的曲率。
• 理论上证明高正曲率的边会引发特征同质化，与深层GNN中的过平滑现象相关。
• 表明低曲率（尤其是负曲率）的边指示图中的瓶颈区域，与因信息瓶颈导致的过压缩现象相关。
• 提出批量Ollivier-Ricci流（BORF）方法，一种可微分的、基于批量的重布线算法，通过向高曲率区域添加边、从低曲率区域移除边来平衡信息流动。
• 采用曲率感知损失函数，指导重布线过程通过优化局部图曲率分布，减少过平滑与过压缩现象。
• 在训练过程中应用BORF动态重布线图结构，提升特征表示学习能力，而无需改变模型架构。

实验结果

研究问题

• RQ1 Ollivier-Ricci曲率如何与GNN中过平滑与过压缩的机制相关联？
• RQ2 基于曲率的分析能否为过平滑与过压缩现象提供统一的几何解释？
• RQ3 基于曲率的图重布线在多大程度上能同时缓解过平滑与过压缩问题？
• RQ4 与现有重布线技术相比，所提出的BORF方法在性能与拓扑稳定性方面表现如何？
• RQ5 在重布线过程中最小化拓扑变化是否能在保持图结构的同时提升GNN的泛化能力？

主要发现

• 正Ollivier-Ricci曲率与过平滑强相关，因为高曲率边会导致节点表征过快收敛。
• 负曲率可识别导致过压缩的图瓶颈区域，即远距离节点的信息被压缩至固定大小的特征中。
• 在Cora数据集上，BORF在GCN模型下达到86.2%的测试准确率，优于SDRF（84.1%）与FoSR（85.3%），且在相同设置下表现更优。
• 在Citeseer数据集上，BORF在GCN下达到78.9%的准确率，超过FoSR（77.6%）与SDRF（76.8%），展现出一致的性能提升。
• BORF引起的拓扑变化极小，在Chameleon数据集上与原始度分布的Wasserstein距离仅为0.00026，显著低于FoSR的0.00069。
• 在GIN模型上，BORF在所有数据集上均取得最高性能，相较于基线平均提升2.1%，在Cora上较SDRF提升1.3%。