[论文解读] Self-Supervised Learning of Graph Neural Networks: A Unified Review

Yaochen Xie, Xu Zhao+3 more|arXiv (Cornell University)|Feb 22, 2021

Advanced Graph Neural Networks被引用 37

一句话总结

一份全面综述统一了图神经网络（GNNs）的对比式与预测式自监督学习（SSL）方法，提供标准化的测试平台和用于比较的框架。

ABSTRACT

Deep models trained in supervised mode have achieved remarkable success on a variety of tasks. When labeled samples are limited, self-supervised learning (SSL) is emerging as a new paradigm for making use of large amounts of unlabeled samples. SSL has achieved promising performance on natural language and image learning tasks. Recently, there is a trend to extend such success to graph data using graph neural networks (GNNs). In this survey, we provide a unified review of different ways of training GNNs using SSL. Specifically, we categorize SSL methods into contrastive and predictive models. In either category, we provide a unified framework for methods as well as how these methods differ in each component under the framework. Our unified treatment of SSL methods for GNNs sheds light on the similarities and differences of various methods, setting the stage for developing new methods and algorithms. We also summarize different SSL settings and the corresponding datasets used in each setting. To facilitate methodological development and empirical comparison, we develop a standardized testbed for SSL in GNNs, including implementations of common baseline methods, datasets, and evaluation metrics.

研究动机与目标

• 对图的 SSL 方法进行调查和分类为对比式和预测式方法。
• 提供一个统一框架以比较图 SSL 方法的组件（视图、编码器、目标函数）。
• 总结图任务中使用的 SSL 设置和数据集。
• 提供一个带有基线、数据集和评估指标的标准化测试台用于经验比较。

提出的方法

• 为图 SSL 定义一个统一框架，分为两个主要分支：对比学习和预测学习。
• 描述对比方法如何生成多个图视图并将互信息估计器用作目标函数。
• 介绍在图 SSL 中常用的 MI 估计器：DV、JS 和 InfoNCE，包含投影头。
• 详细说明预测式 SSL 方法，包括图重构、属性预测、自训练以及不变性正则化。
• 讨论对异构图和动态图的扩展，并在附录中给出更深入的分类。
• 开发并发布一个实现基线、数据集和评估指标的标准化测试台，以便可重复研究。

实验结果

研究问题

• RQ1 如何在图上将对比式 SSL 统一为互信息最大化？
• RQ2 在图对比学习中，视图生成和编码器设计的作用是什么？
• RQ3 预测式 SSL 方法如何生成自监督标签以及它们捕捉哪些特性？
• RQ4 在图上进行 SSL 常用的数据集与设置有哪些，标准化测试台如何有助于比较？
• RQ5 SSL 方法如何扩展到异构或动态图？

主要发现

• 该综述在互信息基础上提供了图对比学习的统一视角。
• 它按标签生成方式对预测式 SSL 方法进行分类（重构、属性预测、自训练、不变性）。
• 它比较了视图生成策略、编码器和目标函数，覆盖如 DGI、MVGRL、GraphCL、GRACE、GCC、GMI 和 BGRL 等主要方法。
• 它讨论了 MI 估计器（DV、JS、InfoNCE）及投影头在提升性能中的作用。
• 它总结了在图任务中使用的 SSL 设置和数据集，并引入一个标准化的开源测试台用于基准测试。