[论文解读] Spectral Feature Augmentation for Graph Contrastive Learning and Beyond

Yifei Zhang, Hao Zhu+3 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种新颖且高效的图对比学习方法——谱特征增强（Spectral Feature Augmentation, SFA），该方法利用不完全幂迭代来重新平衡特征图的谱，并向奇异值中注入噪声。通过部分均衡奇异值并保持正交基，SFA 改进了低主导特征的对齐，从而提升了泛化能力，并在节点分类与聚类任务上取得了最先进性能，优于现有的增强策略。

ABSTRACT

Although augmentations (e.g., perturbation of graph edges, image crops) boost the efficiency of Contrastive Learning (CL), feature level augmentation is another plausible, complementary yet not well researched strategy. Thus, we present a novel spectral feature argumentation for contrastive learning on graphs (and images). To this end, for each data view, we estimate a low-rank approximation per feature map and subtract that approximation from the map to obtain its complement. This is achieved by the proposed herein incomplete power iteration, a non-standard power iteration regime which enjoys two valuable byproducts (under mere one or two iterations): (i) it partially balances spectrum of the feature map, and (ii) it injects the noise into rebalanced singular values of the feature map (spectral augmentation). For two views, we align these rebalanced feature maps as such an improved alignment step can focus more on less dominant singular values of matrices of both views, whereas the spectral augmentation does not affect the spectral angle alignment (singular vectors are not perturbed). We derive the analytical form for: (i) the incomplete power iteration to capture its spectrum-balancing effect, and (ii) the variance of singular values augmented implicitly by the noise. We also show that the spectral augmentation improves the generalization bound. Experiments on graph/image datasets show that our spectral feature augmentation outperforms baselines, and is complementary with other augmentation strategies and compatible with various contrastive losses.

研究动机与目标

• 解决图与图像对比学习中缺乏有效的特征级增强方法的问题。
• 通过平衡特征图的谱，聚焦于较少主导的奇异值，以改善表示学习。
• 开发一种即插即用的方法，兼容多种对比损失函数与数据增强方式。
• 对所提出的不完全幂迭代中的谱平衡效应与噪声注入进行理论分析。
• 在下游节点级任务中展示改进的泛化能力与性能。

提出的方法

• 提出不完全幂迭代——一种非标准设置，仅使用一次或两次迭代，以估计特征图的低秩近似。
• 从原始特征图中减去低秩近似，得到其补集，从而有效重新平衡谱。
• 通过不完全幂迭代的随机性，向重新平衡后的奇异值注入噪声。
• 对两个视图的奇异向量进行对齐，对所有奇异值赋予相等的重要性，避免主导奇异向量的过度影响。
• 推导出谱平衡效应与增强后奇异值方差的解析表达式。
• 将 SFA 作为插件层集成到 GCL 流程中，兼容 InfoNCE 与 Barlow Twin 对比损失。

实验结果

研究问题

• RQ1 通过不完全幂迭代实现的谱特征增强是否能提升图对比学习中的表示学习？
• RQ2 重新平衡特征图的谱是否能带来对比学习中正交基对齐的改善？
• RQ3 注入奇异值的噪声如何影响模型的泛化能力与性能？
• RQ4 所提出的方法是否与现有数据增强方式及对比损失函数兼容？
• RQ5 不完全幂迭代的谱平衡效应背后的理论机制是什么？

主要发现

• 谱特征增强在多种图与图像数据集的节点分类与聚类基准测试中，优于现有基线方法。
• 当与标准数据增强和对比损失（如 InfoNCE 与 Barlow Twin）结合时，该方法实现了最先进性能。
• 仅通过一到两次迭代的不完全幂迭代，成功平衡了特征图的谱，增强了对较少主导奇异向量的对齐。
• 理论分析证实，该方法在保持奇异向量的同时，隐式地向奇异值注入噪声，实现了谱增强，且不破坏语义结构。
• 由于谱增强，模型的泛化界得到改善，理论推导已验证此结论。
• 该方法计算效率高，可作为插件层无缝集成到现有 GNN 框架中，运行时开销可忽略。