[论文解读] Towards Graph Contrastive Learning: A Survey and Beyond

Wei Ju, Yifan Wang+11 more|arXiv (Cornell University)|May 20, 2024

Advanced Graph Neural Networks被引用 22

一句话总结

本文对 Graph Contrastive Learning (GCL) 进行了专题综述，详细介绍了其核心原理、对数据高效学习的扩展、现实世界的应用及未来方向。

ABSTRACT

In recent years, deep learning on graphs has achieved remarkable success in various domains. However, the reliance on annotated graph data remains a significant bottleneck due to its prohibitive cost and time-intensive nature. To address this challenge, self-supervised learning (SSL) on graphs has gained increasing attention and has made significant progress. SSL enables machine learning models to produce informative representations from unlabeled graph data, reducing the reliance on expensive labeled data. While SSL on graphs has witnessed widespread adoption, one critical component, Graph Contrastive Learning (GCL), has not been thoroughly investigated in the existing literature. Thus, this survey aims to fill this gap by offering a dedicated survey on GCL. We provide a comprehensive overview of the fundamental principles of GCL, including data augmentation strategies, contrastive modes, and contrastive optimization objectives. Furthermore, we explore the extensions of GCL to other aspects of data-efficient graph learning, such as weakly supervised learning, transfer learning, and related scenarios. We also discuss practical applications spanning domains such as drug discovery, genomics analysis, recommender systems, and finally outline the challenges and potential future directions in this field.

研究动机与目标

• 在图自监督学习中识别并阐明 Graph Contrastive Learning (GCL) 的基本原理。
• 系统性地对 GCL 的组成部分进行分类，如数据增强、对比模式和优化目标。
• 探讨 GCL 在数据高效设置中的扩展，包括弱监督学习和迁移学习。
• 强调 GCL 在药物发现、基因组学、推荐系统等领域的实际应用。
• 勾勒挑战与未来发展方向，以指导 GCL 的进一步研究。

提出的方法

• 总结 GCL 中使用的增强策略，包含基于规则的和学习型增强。
• 描述各种对比模式（同尺度内、跨尺度、局部-全局等）及其在不同数据规模下的工作方式。
• 回顾对比学习优化目标，包括基于 InfoNCE 的和非对比学习方法。
• 讨论向数据高效学习的扩展，如弱监督学习和迁移学习。
• 展示在不同领域实施 GCL 的实际应用与实际考虑因素。

实验结果

研究问题

• RQ1 定义 Graph Contrastive Learning 的核心构建块（增强、对比模式和目标）。
• RQ2 如何将 GCL 扩展到数据高效设置，如弱监督和迁移学习？
• RQ3 GCL 在药物发现、基因组学、推荐系统等领域的实际应用是什么？
• RQ4 GCL 研究的主要挑战与未来方向是什么？

主要发现

• GCL 是一个快速增长的领域，需要专门的综述来聚焦其独特的设计选择。
• 增强、对比模式和优化目标是决定 GCL 性能的核心杠杆。
• GCL 可以扩展到弱监督和迁移学习情境，扩大图上的数据高效学习。
• GCL 的应用覆盖药物发现、基因组学、推荐系统、社交网络和交通预测等领域。
• 该综述概述了挑战并提出未来研究方向以推进 GCL 的发展。