[论文解读] Self-Supervised Representation Learning via Latent Graph Prediction

Yaochen Xie, Xu Zhao+1 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出 LaGraph，一种基于潜在图预测的图神经网络自监督表征学习框架。通过推导用于预测未观测潜在图的自监督上界，LaGraph 在小批量大小和子图训练下均表现出更强的鲁棒性，且在节点级别和图级别基准测试中均优于对比学习与预测型自监督方法，实现了最先进性能。

ABSTRACT

Self-supervised learning (SSL) of graph neural networks is emerging as a promising way of leveraging unlabeled data. Currently, most methods are based on contrastive learning adapted from the image domain, which requires view generation and a sufficient number of negative samples. In contrast, existing predictive models do not require negative sampling, but lack theoretical guidance on the design of pretext training tasks. In this work, we propose the LaGraph, a theoretically grounded predictive SSL framework based on latent graph prediction. Learning objectives of LaGraph are derived as self-supervised upper bounds to objectives for predicting unobserved latent graphs. In addition to its improved performance, LaGraph provides explanations for recent successes of predictive models that include invariance-based objectives. We provide theoretical analysis comparing LaGraph to related methods in different domains. Our experimental results demonstrate the superiority of LaGraph in performance and the robustness to decreasing of training sample size on both graph-level and node-level tasks.

研究动机与目标

• 解决对比自监督学习（SSL）在图神经网络中的局限性，特别是对大批次大小和负样本的依赖。
• 开发一种基于理论原则而非启发式设计的预测型自监督学习框架，与现有预测模型不同。
• 提供一种理论上合理的对比方法替代方案，避免崩溃问题，并减少对停止梯度或EMA等工程技巧的依赖。
• 通过将潜在图预测作为先验任务，提升在低数据场景和大规模图设置下的鲁棒性。
• 通过统一的理论框架，解释基于不变性的方法（如BGRL）成功的原因。

提出的方法

• 将潜在图定义为从节点特征和邻接关系中推导出的隐藏未观测图结构。
• 推导用于预测潜在图的监督目标的自监督上界，从而实现无需标签数据的端到端训练。
• 引入双目标学习机制，结合潜在图重建与通过数据增强实现的不变性正则化。
• 采用节点掩码作为数据增强策略以生成视图，但并非用于对比学习，而是为了增强潜在预测目标的不变性。
• 使用图编码器（如GCN、GAT）生成节点级和图级表征，并通过读出函数聚合图级嵌入。
• 训练目标基于信息论原理推导，与互信息最大化相关联，提供理论基础。

实验结果

研究问题

• RQ1 能否在潜在图预测基础上，理论化地构建图神经网络的预测型自监督学习框架，避免依赖对比目标和负采样？
• RQ2 所提出的潜在图预测目标在性能和鲁棒性方面与对比方法和基于不变性的方法相比如何？
• RQ3 当在小规模节点子集或减少批量大小下训练时，该框架的性能下降程度如何？
• RQ4 潜在图预测目标的理论分析在多大程度上能解释现有基于不变性的方法（如BGRL）的成功？
• RQ5 该框架在节点级和图级表征学习任务中是否具有泛化能力，并实现一致的性能提升？

主要发现

• LaGraph 在12个节点级和图级基准数据集中的10个上达到最先进性能，包括在PPI、Reddit和COLLAB数据集上的SOTA结果。
• 在PPI数据集上，LaGraph 达到74.6的F1分数，优于BGRL（70.5）和GraphCL（45.5），且在小规模子集上训练时内存消耗显著更低。
• LaGraph 在Flickr数据集上仅使用0.22%的节点（100个）训练时仍保持稳定性能，F1分数达6.07，而GraphCL在1000个节点时已崩溃，F1分数为45.48。
• LaGraph 对小批量大小具有鲁棒性：当批量大小从128降至8时，性能保持稳定，而对比方法如GraphCL则出现显著准确率下降。
• LaGraph 在COLLAB上达到95.8%的准确率，在Reddit上达到95.2%，优于BGRL（95.6%和95.2%）及其他SOTA方法如GRACE和GCA。
• 消融研究证实，LaGraph在子图上训练时性能稳定，内存消耗呈线性增长，性能保持一致；而GraphCL在大规模场景下变得不可行。