[论文解读] Self-supervised Graph Representation Learning via Bootstrapping

Feihu Che, Guohua Yang+4 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Graph Neural Networks参考文献 38被引用 5

一句话总结

本文提出深度图自蒸馏（DGB），一种自监督图表示学习方法，通过在线与目标神经网络之间的自蒸馏机制，消除了对负样本的需求。该方法对同一张图的两个视图应用数据增强（如节点特征丢弃和图扩散），使在线网络能够预测目标网络的输出，同时目标网络通过缓慢移动平均的方式更新，实现无需标签或负样本的SOTA性能。

ABSTRACT

Graph neural networks~(GNNs) apply deep learning techniques to graph-structured data and have achieved promising performance in graph representation learning. However, existing GNNs rely heavily on enough labels or well-designed negative samples. To address these issues, we propose a new self-supervised graph representation method: deep graph bootstrapping~(DGB). DGB consists of two neural networks: online and target networks, and the input of them are different augmented views of the initial graph. The online network is trained to predict the target network while the target network is updated with a slow-moving average of the online network, which means the online and target networks can learn from each other. As a result, the proposed DGB can learn graph representation without negative examples in an unsupervised manner. In addition, we summarize three kinds of augmentation methods for graph-structured data and apply them to the DGB. Experiments on the benchmark datasets show the DGB performs better than the current state-of-the-art methods and how the augmentation methods affect the performances.

研究动机与目标

• 解决现有图神经网络严重依赖标注数据或人工设计负样本的局限性。
• 将视觉领域中的自蒸馏机制（BYOL）扩展至图结构数据，实现无监督表示学习。
• 系统性地评估并分类适用于图结构数据的有效数据增强策略。
• 证明DGB在无需负样本或监督信号的情况下，于基准图数据集上实现卓越性能。

提出的方法

• DGB采用两个神经网络：在线网络和目标网络，分别处理同一张图的不同增强视图。
• 在线网络通过对比损失目标，学习预测目标网络的输出。
• 目标网络通过在线网络参数的缓慢移动平均进行更新，确保稳定性并支持相互学习。
• 系统性地探索三类数据增强方法：节点级（节点特征丢弃、节点丢弃）、邻接矩阵级（PPR、热核）以及混合组合。
• 使用多层感知机（MLP）投影头对表示进行投影，再计算对比损失。
• 训练过程交替更新在线网络（使用梯度下降）与缓慢更新目标网络，模仿视觉领域中的BYOL框架。

实验结果

研究问题

• RQ1 视觉自监督学习中的自蒸馏机制能否成功适配至图结构数据？
• RQ2 不同图数据增强策略如何影响自监督图表示学习的性能？
• RQ3 消除负样本需求是否能提升图表示学习的鲁棒性与性能？
• RQ4 在DGB框架中，节点级与邻接矩阵级数据增强的相对贡献如何？
• RQ5 目标网络中缓慢移动平均更新策略对模型稳定性与性能有何影响？

主要发现

• DGB在Cora、Citeseer和PubMed数据集上达到SOTA性能，Cora数据集准确率达83.4%，超越现有监督与无监督方法。
• 节点特征丢弃（NFD）与邻接矩阵增强（如PPR或扩散）的组合表现最佳，优于单一增强方法。
• 节点级增强（尤其是NFD）的贡献显著高于邻接矩阵级增强，可能由于训练周期中增加了随机性。
• 消融实验表明，移除投影头后Cora数据集准确率从83.4%降至76.7%，表明其在表示学习中的关键作用。
• 使用缓慢移动平均（p=0.01）更新目标网络优于立即复制（p=0）或固定参数（p=1），证实稳定目标更新的重要性。
• t-SNE可视化表明，DGB在完整组件下学习到的表示更具判别性且类别分离更明显，优于缺少投影头或正确自蒸馏机制的情况。