[论文解读] Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning

Ming Jin, Yizhen Zheng+4 more|arXiv (Cornell University)|May 12, 2021

Advanced Graph Neural Networks参考文献 29被引用 15

一句话总结

该论文提出 MERIT，一种自监督图表示学习框架，通过将多尺度对比学习与孪生网络架构相结合，消除了对负样本的依赖。通过利用动量更新的目标网络实现跨网络对比性，以及通过多尺度图增强实现跨视图对比性，MERIT 在五个真实世界数据集的节点分类任务中实现了最先进性能，优于自监督和半监督基线方法。

ABSTRACT

Graph representation learning plays a vital role in processing graph-structured data. However, prior arts on graph representation learning heavily rely on labeling information. To overcome this problem, inspired by the recent success of graph contrastive learning and Siamese networks in visual representation learning, we propose a novel self-supervised approach in this paper to learn node representations by enhancing Siamese self-distillation with multi-scale contrastive learning. Specifically, we first generate two augmented views from the input graph based on local and global perspectives. Then, we employ two objectives called cross-view and cross-network contrastiveness to maximize the agreement between node representations across different views and networks. To demonstrate the effectiveness of our approach, we perform empirical experiments on five real-world datasets. Our method not only achieves new state-of-the-art results but also surpasses some semi-supervised counterparts by large margins. Code is made available at https://github.com/GRAND-Lab/MERIT

研究动机与目标

• 解决现有图对比学习方法严重依赖负样本以及计算成本高昂的互信息估计器的局限性。
• 通过采用基于动量的自蒸馏孪生架构来稳定训练并避免特征崩溃，从而提升节点表示学习效果。
• 通过在局部和全局图视图之间引入多尺度对比学习，增强自监督信号，以捕捉更丰富的拓扑和特征级关系。
• 证明跨网络和跨视图对比目标的结合能够生成更具表现力和泛化能力的节点嵌入。
• 在真实世界图数据集上验证框架的有效性，表明其性能优于最先进的自监督和半监督方法。

提出的方法

• 该框架采用具有两个分支的孪生图神经网络架构：在线网络和动量更新的目标网络，其中目标网络作为‘教师模型’以稳定表示学习。
• 通过最小化在线网络与目标网络表示之间的对比损失来强制实现跨网络对比性，使用预测头和梯度截断操作以防止崩溃。
• 对图应用多尺度增强以生成两个视图：一个通过边修改和节点特征扰动实现，另一个通过图扩散注入全局结构信息。
• 通过在不同增强视图中最大化在线网络中节点表示的一致性，引入跨视图对比性，采用基于温度缩放交叉熵的对比目标。
• 整体损失通过加权和组合两种目标：$\mathcal{L} = \beta \mathcal{L}_{cn} + (1 - \beta) \mathcal{L}_{cv}$，其中$\beta$控制两个分量之间的平衡。
• 目标网络更新规则中动量系数$m$的取值范围为0.99至0.999，发现$m=1$会降低性能。

实验结果

研究问题

• RQ1 基于动量的自蒸馏孪生网络是否能够替代图对比学习中对负样本的需求？
• RQ2 与单尺度方法相比，跨局部和全局视图的多尺度对比学习如何提升节点表示质量？
• RQ3 跨网络和跨视图对比目标在提升模型性能方面各自贡献如何？
• RQ4 不同的图增强策略（如边修改、特征噪声、图扩散）对最终表示质量有何影响？
• RQ5 所提出的框架是否能在不依赖标注数据的情况下实现最先进性能，甚至超越某些半监督方法？

主要发现

• MERIT 在五个真实世界图数据集上实现了最先进性能，CiteSeer 数据集准确率为 74.0% ± 0.7，Amazon Photo 数据集准确率为 87.4% ± 0.2。
• 移除跨网络对比损失（MERIT w/o cross-network）在 CiteSeer 上导致性能下降 0.2%，在 Amazon Photo 上下降 0.4%，证明其关键作用。
• 移除跨视图对比损失（MERIT w/o cross-view）在 CiteSeer 上导致性能下降 0.4%，在 Amazon Photo 上下降 0.3%，证实多尺度监督的益处。
• 联合使用结构和属性图增强可获得最佳性能，且边修改比例越高，性能提升越显著，直至达到一个最优点。
• 图扩散（$\alpha = 0.05$）显著提升性能，而移除它（$\alpha = 0$）导致性能急剧下降，验证了其在捕捉全局结构方面的作用。
• 当$\beta$在 0.4 到 0.6 之间时模型表现最佳，表明两种对比目标的平衡组合可获得最优结果，而$m=1$会损害训练稳定性。