[论文解读] Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces

Li Sun, Junda Ye+3 more|arXiv (Cornell University)|Nov 30, 2022

Medical Imaging and Analysis被引用 5

一句话总结

该论文提出RieGrace，这是首个在自适应黎曼空间中实现自监督持续图学习的框架。它引入了一种自适应黎曼图卷积网络（AdaRGCN），通过CurvNet模块动态调整每个输入图的曲率，并提出了一种无标签的洛伦兹蒸馏方法，利用广义洛伦兹投影实现无需标签的知识蒸馏，在基准数据集上实现了最先进性能，同时有效缓解灾难性遗忘。

ABSTRACT

Continual graph learning routinely finds its role in a variety of real-world applications where the graph data with different tasks come sequentially. Despite the success of prior works, it still faces great challenges. On the one hand, existing methods work with the zero-curvature Euclidean space, and largely ignore the fact that curvature varies over the coming graph sequence. On the other hand, continual learners in the literature rely on abundant labels, but labeling graph in practice is particularly hard especially for the continuously emerging graphs on-the-fly. To address the aforementioned challenges, we propose to explore a challenging yet practical problem, the self-supervised continual graph learning in adaptive Riemannian spaces. In this paper, we propose a novel self-supervised Riemannian Graph Continual Learner (RieGrace). In RieGrace, we first design an Adaptive Riemannian GCN (AdaRGCN), a unified GCN coupled with a neural curvature adapter, so that Riemannian space is shaped by the learnt curvature adaptive to each graph. Then, we present a Label-free Lorentz Distillation approach, in which we create teacher-student AdaRGCN for the graph sequence. The student successively performs intra-distillation from itself and inter-distillation from the teacher so as to consolidate knowledge without catastrophic forgetting. In particular, we propose a theoretically grounded Generalized Lorentz Projection for the contrastive distillation in Riemannian space. Extensive experiments on the benchmark datasets show the superiority of RieGrace, and additionally, we investigate on how curvature changes over the graph sequence.

研究动机与目标

• 为解决在非欧几里得、曲率可变的黎曼空间中持续图学习的挑战，现有方法依赖于固定的欧几里得几何。
• 通过实现无需监督的自监督知识整合，克服持续图学习中对大量标签的依赖。
• 设计一种统一的图神经网络，可根据每个输入图的内在曲率自适应地在双曲空间与超球面空间之间切换。
• 开发一种新颖的蒸馏机制，实现在黎曼空间中无须标签或预标注数据即可在任务间保留知识。
• 通过一种新的广义洛伦兹投影（GLP）为非欧几里得空间中的对比蒸馏提供理论基础，确保闭包性与几何一致性。

提出的方法

• 提出一种统一的黎曼图卷积网络（RGCN），配备可学习的CurvNet模块，用于为每个输入图预测曲率，实现对双曲或超球面空间的动态适应。
• 引入一种无标签洛伦兹蒸馏框架，其中学生网络同时执行内部蒸馏（从自身中间层）与外部蒸馏（从教师网络），以保留过往知识。
• 开发广义洛伦兹投影（GLP），实现不同黎曼空间中表示之间的对比蒸馏，已证明其在流形上具有闭包性，并与洛伦兹变换相关。
• 采用教师-学生训练范式，其中教师模型由前一模型更新，学生模型则为每个新图重新初始化，实现无遗忘的持续学习。
• 通过实例判别实现自监督对比学习以生成伪标签，消除训练过程中对真实标签的依赖。
• 利用受Forman-Ricci曲率启发的CurvNet端到端预测曲率，使模型能够根据图的结构特性动态调整黎曼空间形态。

实验结果

研究问题

• RQ1 图神经网络能否动态适应其底层黎曼几何（曲率），以匹配连续到达图的结构特性？
• RQ2 如何在不依赖标注数据的情况下，有效整合持续图学习任务中的知识？
• RQ3 是否可能在不同黎曼空间（如双曲与球面空间）的表示之间实现有效的对比蒸馏？
• RQ4 图序列中曲率变化对表示质量与模型性能有何影响？
• RQ5 在黎曼空间中的自监督持续学习框架能否优于监督基线方法在持续图学习中的表现？

主要发现

• RieGrace在基准数据集上优于最先进监督型持续图学习方法，证明了该设置下自监督学习的有效性。
• 在ogbn-arXiv数据集上，模型测试准确率达到0.435（±0.027），甚至超越了ComC和ZeroC等监督方法。
• 曲率自适应有效：模型为ogbn-arXiv序列中连续的图学习到不同的曲率值——0.227、-0.536和-1.073，表明其具备结构适应能力。
• 当曲率与图的内在几何相匹配时，嵌入失真最小化，每个图在最优曲率下观察到最低失真（0.367）。
• 广义洛伦兹投影（GLP）在黎曼流形上具有数学闭包性，并为跨空间蒸馏提供了稳定基础。
• 消融实验表明，CurvNet与无标签洛伦兹蒸馏均对性能至关重要，任一组件的消融均导致准确率显著下降。