[论文解读] Provable Training for Graph Contrastive Learning

Yue Yu, Xiao Wang+3 more|arXiv (Cornell University)|Sep 25, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出可证明训练（POT），一种用于图对比学习（GCL）的即插即用正则化方法，通过引入‘节点紧凑性’——一种理论上推导出的度量指标，用于衡量节点在不同数据增强下遵循GCL原则的一致性——来提升训练效果。POT通过优先关注训练较差的节点，在不修改网络结构的前提下，显著提升了多种基准上的模型性能，且在现有GCL方法中实现了稳定增益。

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a popular training approach for learning node embeddings from augmented graphs without labels. Despite the key principle that maximizing the similarity between positive node pairs while minimizing it between negative node pairs is well established, some fundamental problems are still unclear. Considering the complex graph structure, are some nodes consistently well-trained and following this principle even with different graph augmentations? Or are there some nodes more likely to be untrained across graph augmentations and violate the principle? How to distinguish these nodes and further guide the training of GCL? To answer these questions, we first present experimental evidence showing that the training of GCL is indeed imbalanced across all nodes. To address this problem, we propose the metric "node compactness", which is the lower bound of how a node follows the GCL principle related to the range of augmentations. We further derive the form of node compactness theoretically through bound propagation, which can be integrated into binary cross-entropy as a regularization. To this end, we propose the PrOvable Training (POT) for GCL, which regularizes the training of GCL to encode node embeddings that follows the GCL principle better. Through extensive experiments on various benchmarks, POT consistently improves the existing GCL approaches, serving as a friendly plugin.

研究动机与目标

• 探究在不同图增强下，GCL中的所有节点是否都一致地遵循InfoNCE原则。
• 识别因对增强结构敏感而持续训练不佳的节点。
• 设计一种理论基础坚实的度量指标，用于量化节点在不同增强下遵循GCL原则的一致性。
• 设计一种正则化方法，通过聚焦于紧凑性较低的节点来提升GCL训练效果。
• 构建一种通用、即插即用的解决方案，兼容现有GCL框架。

提出的方法

• 提出‘节点紧凑性’作为度量指标，用于衡量节点在所有可能增强下遵循GCL原则的下界。
• 利用边界传播推导出节点紧凑性的解析形式，实现可微分地集成到训练过程中。
• 将节点紧凑性作为正则化项整合到二元交叉熵损失中，通过超参数κ与标准InfoNCE目标进行平衡。
• 利用推导出的紧凑性动态调整训练关注点，突出那些在不同增强下一致性较低的节点。
• 设计POT作为即插即用模块，可无缝集成到任意GCL框架中，无需修改主干网络结构。
• 利用边界传播理论证明紧凑性度量的合理性，确保训练一致性的可证明提升。

实验结果

研究问题

• RQ1 在不同图增强下，GCL中的所有节点是否都得到同等程度的训练？还是存在训练不平衡？
• RQ2 哪些节点因对增强的结构敏感而持续训练不佳？
• RQ3 我们能否定义一种理论基础坚实的度量指标，用于量化节点在不同增强下遵循GCL原则的一致性？
• RQ4 如何利用此类度量指标以可证明且可泛化的方式提升GCL训练？
• RQ5 所提出的方法能否作为即插即用模块集成到现有GCL框架中，而无需修改网络结构？

主要发现

• GCL训练存在严重不平衡，节点级别的InfoNCE损失差异显著，表明并非所有节点都以相同程度遵循GCL原则。
• 节点紧凑性有效捕捉了节点对图增强的敏感性，在真实图中与节点度数及增强策略表现出强相关性。
• POT在多个GCL基线模型（GRACE、GCA、ProGCL、COSTA）的节点分类基准上，包括BlogCatalog和Cora，均实现了持续性能提升。
• 超参数分析表明，POT在广泛的κ值范围内均优于基线模型，尤其在BlogCatalog上表现更优，表明其对超参数选择具有鲁棒性。
• 所提方法在不修改网络结构的前提下实现了稳定增益，证实其作为GCL通用即插即用模块的有效性。
• 可视化结果证实，紧凑性较低的节点确实最易受增强变化影响，验证了该度量指标的可解释性。