[论文解读] Towards Robust Graph Contrastive Learning

Nikola Jovanović, Meng Zhao+2 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Graph Neural Networks参考文献 38被引用 27

一句话总结

本文提出 GROC，一种自监督的图对比学习方法，通过结合随机变换与由梯度信号引导的对抗性边缘移除与插入来提升对抗鲁棒性。

ABSTRACT

We study the problem of adversarially robust self-supervised learning on graphs. In the contrastive learning framework, we introduce a new method that increases the adversarial robustness of the learned representations through i) adversarial transformations and ii) transformations that not only remove but also insert edges. We evaluate the learned representations in a preliminary set of experiments, obtaining promising results. We believe this work takes an important step towards incorporating robustness as a viable auxiliary task in graph contrastive learning.

研究动机与目标

• 在自监督表示学习的图对比学习中，将鲁棒性作为辅助目标来提升。
• 开发一个完全自监督的算法，在提升对图的对抗扰动鲁棒性的同时，保持对干净数据的性能。
• 提出一个新颖的变换流水线，将随机掩蔽与基于梯度的信息化边移除/插入相结合，以创建鲁棒视图。
• 在标准图基准数据集上，在对抗扰动下评估该方法，并与现有对比学习方法进行比较。

提出的方法

• 提出 Graph Robust Contrastive Learning (GROC)，建立在具有图的两种视图的图对比学习之上。
• 使用两阶段视图构造：随机特征掩蔽，随后进行由梯度信号引导的对抗性边编辑。
• 在两种视图中计算锚节点嵌入之间的对比损失，以及来自其他节点的负样本。
• 在对抗步骤中，从经过策划的候选集合中移除梯度影响最小的边并插入梯度影响最大的边。
• 以随机化的小批量处理节点，以限制负样本并在边编辑时聚焦局部邻域。
• 通过梯度下降优化编码器参数，以最小化跨批次的对比损失。

实验结果

研究问题

• RQ1 在对比学习过程中进行对抗性变换是否能提升图表示对图扰动的鲁棒性？
• RQ2 基于梯度的边缘移除与插入是否比随机扰动在创建鲁棒视图方面具有优势？
• RQ3 在有针对性的图攻击下，GROC 在标准准确率与鲁棒准确率方面的表现如何？
• RQ4 在干净和被攻击条件下，GROC 是否具备与现有图自监督方法（GRACE、GCA）在标准基准上的竞争力？

主要发现

• GROC 被提出为将对抗性变换整合到图对比学习中的第一个框架。
• 在传导式节点分类数据集上的初步实验显示，在对抗攻击下鲁棒性有所提升，同时在干净数据上保持性能。
• GROC 与 GRACE、GCA，以及一个梯度增强的 GRACE 变体进行比较，使用 Nettack 风格的扰动作为攻击模型。
• 实验在标准数据集（Cora、Citeseer、Pubmed、AmazonPhoto、WikiCS）上使用两层 GCN 编码器，采用线性评估协议。
• 该方法将随机掩蔽、梯度引导的边移除和边插入结合起来，为对比学习形成鲁棒视图。