[论文解读] Sheaf Neural Networks with Connection Laplacians

Federico Barbero, Cristian Bodnar+4 more|arXiv (Cornell University)|Jun 17, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种确定性、预处理方法，用于在Sheaf神经网络（SNNs）中计算层析拉普拉斯算子，该方法利用正交映射在流形假设下最优对齐相邻节点的切空间。通过结合微分几何与图结构，该方法在计算开销更低、推理速度更快的前提下，实现了与基于梯度的层析学习相当的性能表现。

ABSTRACT

A Sheaf Neural Network (SNN) is a type of Graph Neural Network (GNN) that operates on a sheaf, an object that equips a graph with vector spaces over its nodes and edges and linear maps between these spaces. SNNs have been shown to have useful theoretical properties that help tackle issues arising from heterophily and over-smoothing. One complication intrinsic to these models is finding a good sheaf for the task to be solved. Previous works proposed two diametrically opposed approaches: manually constructing the sheaf based on domain knowledge and learning the sheaf end-to-end using gradient-based methods. However, domain knowledge is often insufficient, while learning a sheaf could lead to overfitting and significant computational overhead. In this work, we propose a novel way of computing sheaves drawing inspiration from Riemannian geometry: we leverage the manifold assumption to compute manifold-and-graph-aware orthogonal maps, which optimally align the tangent spaces of neighbouring data points. We show that this approach achieves promising results with less computational overhead when compared to previous SNN models. Overall, this work provides an interesting connection between algebraic topology and differential geometry, and we hope that it will spark future research in this direction.

研究动机与目标

• 解决Sheaf神经网络（SNNs）中层析初始化的挑战，其中人工构造缺乏泛化能力，而端到端学习则带来高昂的计算成本与过拟合风险。
• 通过引入非参数化、预计算的层析结构，克服现有SNNs的局限性，从而从数据中嵌入几何归纳偏置。
• 通过消除模型优化过程中对层析参数进行反向传播的需求，降低训练时间与参数数量。
• 探索将微分几何（切空间对齐）与图结构数据相结合，以提升异质性设置下的泛化能力。
• 证明确定性、流形感知的层析计算可与可学习层析模型在多样化基准数据集上的性能相匹配甚至超越。

提出的方法

• 使用节点1跳邻域的主成分分析（PCA）计算每个节点的局部切空间，以估计局部流形结构。
• 推导出相邻节点之间最优对齐其各自切空间的正交变换矩阵 $ O_{ij} $，以最小化或正交基之间的距离。
• 从这些正交映射构建连接拉普拉斯算子，形成无需可学习参数的图结构与流形感知的层析拉普拉斯算子。
• 在数据预处理阶段预计算层析拉普拉斯算子，将其与主模型训练阶段解耦。
• 将预计算的拉普拉斯算子集成到Sheaf神经网络（SNN）中，用于推理与训练，使用标准GNN消息传递机制结合新的层析结构。
• 通过避免对层析结构进行反向传播，确保方法的可扩展性与高效性，从而降低内存与计算需求。

实验结果

研究问题

• RQ1 基于几何驱动的确定性层析拉普拉斯算子计算方法是否能在准确率与效率方面优于端到端可学习的层析结构？
• RQ2 将微分几何原理（特别是切空间对齐）引入是否能提升异质性图学习场景下的泛化能力？
• RQ3 预计算层析拉普拉斯算子在不牺牲模型性能的前提下，能在多大程度上减少训练时间与参数数量？
• RQ4 在不同同质性水平的数据集上，该方法与随机正交层析基线及其他SNN变体相比表现如何？
• RQ5 在哪些图结构场景下（如低节点数、高边数、低同质性）确定性层析计算能提供最显著的优势？

主要发现

• Conn-NSD在Texas与Film等异质性数据集上达到最先进性能，优于Diag-NSD、O(d)-NSD与Gen-NSD。
• 在节点数与边数均较高的Squirrel数据集上，尽管其性能落后于完全可学习模型，但Conn-NSD仍优于随机层析基线。
• 与O(d)-NSD基线相比，Conn-NSD在Squirrel数据集上实现了45.8%的推理速度提升，且由于拉普拉斯算子已预计算，训练速度也更快。
• 该模型通过消除对层析结构的梯度计算，持续降低计算开销，各数据集的平均推理时间每轮为0.010至0.310秒。
• Conn-NSD在Cora、Citeseer与Pubmed数据集上保持了具有竞争力的性能，与最佳性能模型接近，同时使用更少的可学习参数。
• 该方法表明，基于流形假设推导出的几何结构可作为有效的归纳偏置，减少过拟合并提升SNNs的泛化能力。