[论文解读] Pseudo-Riemannian Graph Convolutional Networks

Bo Xiong, Shichao Zhu+4 more|arXiv (Cornell University)|Jun 6, 2021

Morphological variations and asymmetry被引用 8

一句话总结

该论文提出了伪黎曼图卷积网络（Q-GCN），这是一种新颖的框架，将图神经网络扩展至具有非零常曲率的伪黎曼流形，从而能够灵活建模复杂且异构的图拓扑结构。通过开发新型测地线工具以处理伪黎曼流形中的测地线不连通性问题，Q-GCN在多种图结构上的节点分类、链接预测和图重构任务中均取得了最先进性能，优于黎曼几何和欧氏几何基线方法。

ABSTRACT

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

研究动机与目标

• 为解决现有图神经网络在建模结合了层次结构与环形结构的复杂、异构图拓扑方面的局限性。
• 克服伪黎曼流形中测地线不连通性的问题，该问题阻碍了神经网络操作的应用。
• 开发一种系统化、可微分的框架，将 GCN 的应用从欧氏几何和黎曼几何推广至具有常非零曲率的伪黎曼流形。
• 提供一种几何归纳偏置，可灵活适应混合曲率，同时通过标准梯度下降法保持优化能力。
• 在具有复杂拓扑结构的标准基准上，实证验证所提方法的表征能力与效率。

提出的方法

• 该方法引入微分同胚流形结构（S × R），以绕过伪黎曼流形中的测地线不连通性问题，从而实现平滑的测地线操作。
• 定义了新型测地线工具，包括切向线性变换和聚合操作，适配于伪黎曼几何的不定度量。
• 通过微分同胚将指数映射及其逆映射推广至伪黎曼设定，实现广义切空间操作。
• 模型支持初始特征位于欧氏空间，后续层通过可微分、双射变换映射至并作用于伪黎曼流形。
• 架构通过基于测地线的消息传递机制实现邻域聚合，将 GCN 操作推广至非黎曼设定。
• 引入一种广义 MLP 变体 Q-NN，以独立于图结构的方式验证伪双曲面几何的表达能力。

实验结果

研究问题

• RQ1 具有不定度量的伪黎曼几何是否能为建模复杂图拓扑提供比黎曼或欧氏几何更灵活的归纳偏置？
• RQ2 尽管存在测地线不连通性，如何将神经网络操作扩展至伪黎曼流形？
• RQ3 基于伪黎曼流形的统一框架是否能在具有混合曲率的图上超越现有的黎曼和欧氏 GCN？
• RQ4 伪双曲面流形中的时间维度（t）在捕捉层次结构与环形图结构方面起到何种作用？
• RQ5 所提方法是否能在保持更丰富几何归纳偏置的同时维持计算效率？

主要发现

• Q-GCN 在包含层次结构与环形结构的混合拓扑图上，于节点分类与链接预测任务中均优于黎曼 GCN 和欧氏 GCN。
• 在 PubMed 数据集上，该数据集表现出强烈的层次结构，性能在较小的时间维度（t）时达到峰值，与模型捕捉树状拓扑的能力一致。
• 在 Cora 数据集上，由于包含更多环路，性能随时间维度增大而提升，表明其与正曲率分量的更好对齐。
• Q-NN 变体（将 MLP 推广至伪黎曼空间）在节点分类任务中表现优于 MLP 和 HNN，证明了底层几何的表达能力。
• Q-GCN 的计算效率高于 Prod-GCN（H⁵ × S⁵），主要得益于微分同胚流形（S × R）中更快的欧氏分量（R）而非非欧氏分量。
• 通过 UMAP 可视化显示，Q-GCN 的嵌入在 Poincaré 圆盘投影中于 PubMed 上展现出更清晰的层次结构，更多枢纽节点聚集在原点附近，证实其有效建模树状图的能力。