[论文解读] Understanding over-squashing and bottlenecks on graphs via curvature

Jake Topping, Francesco Di Giovanni+3 more|arXiv (Cornell University)|Nov 29, 2021

Topological and Geometric Data Analysis参考文献 57被引用 34

一句话总结

本文介绍了一种新的基于边的 Balanced Forman 曲率，用以量化图中的瓶颈，证明负曲率边导致 GNN 的信息压缩过度，并提出基于曲率的 SDRF 图重连以缓解这一问题。

ABSTRACT

Most graph neural networks (GNNs) use the message passing paradigm, in which node features are propagated on the input graph. Recent works pointed to the distortion of information flowing from distant nodes as a factor limiting the efficiency of message passing for tasks relying on long-distance interactions. This phenomenon, referred to as 'over-squashing', has been heuristically attributed to graph bottlenecks where the number of $k$-hop neighbors grows rapidly with $k$. We provide a precise description of the over-squashing phenomenon in GNNs and analyze how it arises from bottlenecks in the graph. For this purpose, we introduce a new edge-based combinatorial curvature and prove that negatively curved edges are responsible for the over-squashing issue. We also propose and experimentally test a curvature-based graph rewiring method to alleviate the over-squashing.

研究动机与目标

• 提供对 GNN 中的 over-squashing 的精确几何描述，并将其与图瓶颈联系起来。
• 引入一种可处理的边基曲率（Balanced Forman 曲率），用以界定并解释信息传递瓶颈。
• 证明负曲率边驱动瓶颈和信息压缩。
• 提出并评估一种基于曲率的图重连方法（Stochastic Discrete Ricci Flow）以缓解瓶颈。
• 将基于曲率的重连与基于扩散的方法进行比较，并证明在拓扑保持性方面有所改进。

提出的方法

• 定义节点表征的雅可比矩阵以量化 over-squashing 并将其与增强的归一化邻接矩阵的幂相关。
• 引入 Balanced Forman curvature Ric(i,j) 作为局部、可计算的边曲率，Ric(i,j) > -2，并证明 Ric(i,j) ≤ κ(i,j) (Ollivier curvature)。
• 证明具有负曲率的边会诱导瓶颈，阻碍跨节点信息传播（定理 4）。
• 通过 Cheeger 常数 h_G 和谱间隙 λ1（命题 5）将曲率与瓶颈联系起来。
• 提出 Stochastic Discrete Ricci Flow（SDRF），在图编辑距离约束内，手术性地修改负曲率边并（可选）移除正曲率边。
• 将 SDRF 与扩散式重连（DIGL/PPR）进行比较，并分析对拓扑和同质性依赖性能的影响。

实验结果

研究问题

• RQ1 在消息传递神经网络中，哪些图的拓扑特征驱动了 over-squashing？
• RQ2 是否存在一个离散边上的曲率概念（Balanced Forman curvature）来检测导致过度压缩的瓶颈？
• RQ3 负曲率边结构是否因果性地导致瓶颈，阻碍长期信息流在 GNN 中？
• RQ4 曲率引导的重连（SDRF）是否比基于扩散的方法更有效地减少瓶颈，同时不对图进行过多修改？
• RQ5 曲率基础的重连方法如何影响在不同同质性数据集上的图拓扑保持和性能？

主要发现

• 被识别为对 GNNs 中瓶颈和过度压缩的主要贡献者的是负曲率边（定理 4）。
• Balanced Forman curvature 提供对 Ollivier curvature 的可计算下界并表征局部边几何；Ric(i,j) > -2 一般。
• 存在曲率与 Cheeger 常数之间的理论联系，意味着正曲率界限可以控制谱间隙和瓶颈严重程度（命题 5）。
• SDRF（Stochastic Discrete Ricci Flow）在负曲率边上手术性地定位以缓解瓶颈，同时比基于扩散的重连更好地保持图拓扑。
• 实验上，SDRF 提高了九个数据集的节点分类准确率，特别是在低同质性图上，并且比 DIGL 更接近原始的度分布。
• 基于曲率的重连在拓扑保持方面显示出更优（图编辑影响更小），同时实现竞争或更好的性能。