[论文解读] Simple and Asymmetric Graph Contrastive Learning without Augmentations

Teng Xiao, Huaisheng Zhu+2 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Graph Neural Networks被引用 12

一句话总结

GraphACL 引入一种简单的非对称的图对比学习目标，该目标不依赖增强或同质性，能够有效捕捉一跳邻域上下文和二跳单态性，在同质图和异质图上均取得优异表现。

ABSTRACT

Graph Contrastive Learning (GCL) has shown superior performance in representation learning in graph-structured data. Despite their success, most existing GCL methods rely on prefabricated graph augmentation and homophily assumptions. Thus, they fail to generalize well to heterophilic graphs where connected nodes may have different class labels and dissimilar features. In this paper, we study the problem of conducting contrastive learning on homophilic and heterophilic graphs. We find that we can achieve promising performance simply by considering an asymmetric view of the neighboring nodes. The resulting simple algorithm, Asymmetric Contrastive Learning for Graphs (GraphACL), is easy to implement and does not rely on graph augmentations and homophily assumptions. We provide theoretical and empirical evidence that GraphACL can capture one-hop local neighborhood information and two-hop monophily similarity, which are both important for modeling heterophilic graphs. Experimental results show that the simple GraphACL significantly outperforms state-of-the-art graph contrastive learning and self-supervised learning methods on homophilic and heterophilic graphs. The code of GraphACL is available at https://github.com/tengxiao1/GraphACL.

研究动机与目标

• 推动在具有不同同质性和异质性水平的图上进行鲁棒的节点表征学习。
• 设计一个简单的、无需增强的对比目标，不依赖基于边的节点相似性假设。
• 通过非对称预测捕捉一跳邻域上下文和二跳单态性，以提高区分能力。
• 给出理论保证，表明与一跳上下文的互信息和二跳相似性被保持。
• 在多样化的图基准数据集上展示出强大的经验性能。

提出的方法

• 提出 GraphACL，一种非对称对比框架，将每个节点同时视为身份（节点）和上下文（邻居），并配备预测器。
• 使用解耦的在线编码器 f_theta 和目标编码器 f_xi，通过应用于中心节点表示的非对称预测器 g_phi 来预测邻居表示。
• 优化一个非对称损失 L_A，通过从中心节点预测的上下文来预测邻居表示，避免对直接 v-u 相似性的强制。
• 包含一个均匀性正则化 L_UNI，以通过鼓励节点表示之间的多样性来防止表示塌缩。
• 将 L_PRE（邻域预测）和 L_UNI 结合成一个稳定的目标 L_A，上界化病态联合目标，使得在不使用增强的情况下也能实现有效学习。
• 给出理论结果： (i) 节点表示与一跳邻域上下文之间的互信息最大化， (ii) 通过非对称重构隐式对齐二跳单态性，以及 (iii) 与二跳同质性相关的下游泛化界限。

实验结果

研究问题

• RQ1 一个简单的、无需增强的对比目标是否能在同质图和异质图上有效学习节点表示？
• RQ2 通过对邻域信号的非对称预测是否能够在不依赖增强或同质性假设的情况下捕捉到一跳上下文和二跳单态性？
• RQ3 GraphACL 目标与一跳上下文的互信息以及二跳相似性之间的理论保证是什么，它们如何影响下游任务？

主要发现

• GraphACL 在 15 个图基准上实现最优性能，包括在增强方法表现不佳的异质图上取得显著提升。
• 在若干数据集中，GraphACL 在 15 个数据集中的 14 个中表现最佳，说明对图异质性的鲁棒性。
• 相比第二优秀方法的显著提升包括 Roman 上 4.3%、Cornell 上 11.6%、Texas 上 14.4%、Crocodile 上 5.1%、Arxiv-year 上 3.1%。
• 消融研究表明，非对称编码器组件和邻居预测目标对异质图至关重要，而完整模型在所有设置下提供最佳性能。
• 该方法不依赖图增强，也不假设同质性，与依赖增强或局部平滑前提的先前 GCL 方法形成对比。