[论文解读] Spectral Augmentation for Self-Supervised Learning on Graphs

Lu Lin, Jinghui Chen+1 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用 16

一句话总结

本文提出谱增强图对比学习（SPAN），一种基于原理的图拓扑增强方法，通过引导拓扑增强以最大化图拉普拉斯矩阵的谱变化，提升自监督图表示学习性能。通过识别那些扰动后最显著改变图谱特性的边，SPAN 在节点分类和图分类任务中均提升了模型的鲁棒性、泛化能力与性能，优于统一随机增强基线，在无监督、迁移和对抗性学习设置下表现更优。

ABSTRACT

Graph contrastive learning (GCL), as an emerging self-supervised learning technique on graphs, aims to learn representations via instance discrimination. Its performance heavily relies on graph augmentation to reflect invariant patterns that are robust to small perturbations; yet it still remains unclear about what graph invariance GCL should capture. Recent studies mainly perform topology augmentations in a uniformly random manner in the spatial domain, ignoring its influence on the intrinsic structural properties embedded in the spectral domain. In this work, we aim to find a principled way for topology augmentations by exploring the invariance of graphs from the spectral perspective. We develop spectral augmentation which guides topology augmentations by maximizing the spectral change. Extensive experiments on both graph and node classification tasks demonstrate the effectiveness of our method in self-supervised representation learning. The proposed method also brings promising generalization capability in transfer learning, and is equipped with intriguing robustness property under adversarial attacks. Our study sheds light on a general principle for graph topology augmentation.

研究动机与目标

• 为解决现有图拓扑增强方法缺乏系统性设计的问题，这些方法通常采用不考虑谱敏感性的统一随机扰动。
• 探究保持谱不变性——即对引起显著谱变化的扰动具有鲁棒性——是否能带来更优的自监督图表示学习。
• 开发一种系统化识别并聚焦于高谱敏感度边的方法，以指导增强过程，提升模型泛化能力与鲁棒性。
• 将所提出的谱原则从边扰动扩展至其他增强类型（如节点删除），验证其广泛适用性。

提出的方法

• 该方法将拓扑增强建模为优化问题，以最大化原始图拉普拉斯矩阵与扰动后图拉普拉斯矩阵之间谱差异的 L2-范数。
• 通过求解谱优化目标计算边扰动概率：最大化 ||eig(Lap(A + C ∘ Δ)) − eig(Lap(A))||²₂，其中 Δ 表示边扰动。
• 优化过程受预算 ε 约束，确保仅有限数量的边被修改，以保持扰动强度。
• 由此得到的扰动概率矩阵 C 用于随机采样增强视图，对导致显著谱变化的边分配更高概率。
• 通过从谱敏感度推导出节点删除概率向量 p，并利用对称边删除矩阵 P，将该方法扩展至节点删除任务。
• 该方法兼容任意图对比学习（GCL）框架，仅需一次预计算扰动概率。

实验结果

研究问题

• RQ1 能否利用边的谱敏感度来指导更有效的自监督学习图增强？
• RQ2 在增强过程中最大化谱变化是否能产生更具鲁棒性与泛化能力的表示？
• RQ3 在不同图学习任务中，谱引导增强与统一随机增强相比性能如何？
• RQ4 谱不变性原则能否推广至其他增强类型（如节点删除）？
• RQ5 所提方法是否能在对抗性攻击与迁移学习设置下提升鲁棒性？

主要发现

• SPAN 在节点分类任务中达到最先进性能，在 Cora、PubMed 和 Wiki-CS 数据集上显著优于统一随机增强基线。
• 在图分类基准测试中，谱引导的边删除方法在 NCI1 上提升准确率 0.46%，在 PROTEINS 上提升 1.11%，优于统一随机删除。
• 实验表明，该方法在对抗性攻击下具有更强鲁棒性，扰动测试中性能优于基线模型。
• 迁移学习实验显示，使用 SPAN 预训练的模型在下游任务中泛化能力更强，优于随机增强训练的模型。
• 归一化谱变化度量证实，优化成功使谱范数（特征值的 L2-范数）平均提升达 15%，验证了谱目标定位机制的有效性。
• 扩展至节点删除任务后，性能提升保持一致，IMDB-M 上准确率提升 0.73%，PROTEINS 上提升 1.11%，证实了方法的泛化能力。