[论文解读] When Does Self-Supervision Help Graph Convolutional Networks?

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 53被引用 65

一句话总结

该论文系统地研究通过三种方案和三项任务将自监督学习融入 GCN，结果显示多任务自监督在跨数据集和架构上提供最强的泛化与鲁棒性提升。

ABSTRACT

Self-supervision as an emerging technique has been employed to train convolutional neural networks (CNNs) for more transferrable, generalizable, and robust representation learning of images. Its introduction to graph convolutional networks (GCNs) operating on graph data is however rarely explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into GCNs. We first elaborate three mechanisms to incorporate self-supervision into GCNs, analyze the limitations of pretraining & finetuning and self-training, and proceed to focus on multi-task learning. Moreover, we propose to investigate three novel self-supervised learning tasks for GCNs with theoretical rationales and numerical comparisons. Lastly, we further integrate multi-task self-supervision into graph adversarial training. Our results show that, with properly designed task forms and incorporation mechanisms, self-supervision benefits GCNs in gaining more generalizability and robustness. Our codes are available at https://github.com/Shen-Lab/SS-GCNs.

研究动机与目标

• 评估自监督学习是否提高 GCN 分类性能。
• 确定哪些自监督任务设计对 GCN 最有益。
• 比较在 GCN 中整合自监督学习的预训练、自训练和多任务学习方案。
• 评估自监督是否提升图的对抗鲁棒性。

提出的方法

• 分析注入自监督到 GCN 的三种方案：预训练与微调、自训练（M3S），以及多任务学习。
• 提出三种针对 GCN 的自监督任务：节点聚类、图划分和图完成。
• 将多任务学习形式化为带监督损失和自监督损失（α 加权）的联合目标。
• 引入带有自监督作为对抗训练正则化项的图对抗防御设置。
• 在标准数据集（Cora、Citeseer、PubMed）和 SOTA GNN（GCN、GAT、GIN、GMNN、GraphMix）上进行实验，以评估泛化与鲁棒性。

实验结果

研究问题

• RQ1 自监督学习能否提升 GCN 的分类性能？
• RQ2 哪些自监督预任务对 GCN 有益？
• RQ3 自监督任务的设计是否会在不同数据集和架构上影响 GCN 的性能？
• RQ4 自监督是否提升 GCN 的对抗鲁棒性？
• RQ5 在实际应用中，不同的自监督方案的比较如何？

主要发现

Pipeline	Cora	Citeseer	PubMed
GCN	81.00 ± 0.67	70.85 ± 0.70	79.10 ± 0.21
P&F-Clu	81.83 ± 0.65	71.06 ± 0.59	79.20 ± 0.22
P&F-Par	81.42 ± 0.51	70.68 ± 0.81	79.19 ± 0.21
P&F-Comp	81.25 ± 0.65	71.06 ± 0.55	79.19 ± 0.39
M3S	81.60 ± 0.51	71.94 ± 0.83	79.28 ± 0.30
MTL-Clu	81.57 ± 0.59	70.73 ± 0.84	78.79 ± 0.36
MTL-Par	81.83 ± 0.65	71.34 ± 0.69	80.00 ± 0.74
MTL-Comp	81.03 ± 0.68	71.66 ± 0.48	79.14 ± 0.28

• 多任务学习在各数据集上始终优于预训练与微调以及自训练的结果。
• 基于拓扑的图划分和基于上下文的图完成在提供强劲提升方面表现突出，任务效果因数据集和架构而异。
• 不同的 GNN 架构（GCN、GAT、GIN）受益于多任务自监督，而某些 SLA（GMNN、GraphMix）则根据任务表现出混合结果。
• 通过多任务学习的自监督在不需要更大模型或更多数据的情况下提升对对抗图攻击的鲁棒性。
• 当邻域上下文信息充足时，图完成作为自监督任务可以带来显著提升。