[论文解读] SEGA: Structural Entropy Guided Anchor View for Graph Contrastive Learning

Junran Wu, Xueyuan Chen+3 more|arXiv (Cornell University)|May 8, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出 SEGA，一种用于图对比学习的新颖锚点视图，通过最小化结构熵并在图信息瓶颈理论的指导下，保留了关键的结构信息。SEGA 在图分类任务的无监督、半监督和迁移学习基准上均达到最先进性能，相较于现有方法，准确率提升稳定，最高达 3.17%。

ABSTRACT

In contrastive learning, the choice of ``view'' controls the information that the representation captures and influences the performance of the model. However, leading graph contrastive learning methods generally produce views via random corruption or learning, which could lead to the loss of essential information and alteration of semantic information. An anchor view that maintains the essential information of input graphs for contrastive learning has been hardly investigated. In this paper, based on the theory of graph information bottleneck, we deduce the definition of this anchor view; put differently, extit{the anchor view with essential information of input graph is supposed to have the minimal structural uncertainty}. Furthermore, guided by structural entropy, we implement the anchor view, termed extbf{SEGA}, for graph contrastive learning. We extensively validate the proposed anchor view on various benchmarks regarding graph classification under unsupervised, semi-supervised, and transfer learning and achieve significant performance boosts compared to the state-of-the-art methods.

研究动机与目标

• 定义一种能保留输入图关键结构信息的锚点视图，以支持图对比学习。
• 解决现有图对比学习方法使用随机或学习得到的视图所带来的局限性，这些视图可能扭曲或丢失关键的结构语义。
• 提出一种基于信息论的系统性方法，通过结构熵最小化生成高质量的锚点视图。
• 在多种图学习设置（包括无监督、半监督和迁移学习）中验证所提锚点视图的有效性。

提出的方法

• 锚点视图在理论上被定义为结构不确定性最小的图表示，其推导基于图信息瓶颈原理。
• 使用结构熵作为度量指标，以量化并最小化结构不确定性，从而识别出图的关键结构。
• 通过优化算法生成编码树，以最小化结构熵，从而表示输入图的关键信息。
• 基于图神经网络（GNN）的编码器处理这些编码树，以提取紧凑且信息丰富的表示，用于对比学习。
• 该框架通过对比编码树的嵌入（锚点视图）与增强后的图表示，以最大化互信息并保持表示一致性。
• 该方法与现有数据增强策略正交，可与之结合以进一步提升性能。

实验结果

研究问题

• RQ1 什么定义了一个理想的锚点视图，使其能为对比学习保留图的关键信息？
• RQ2 如何利用结构熵来实现高质量的锚点视图，以最小化结构不确定性？
• RQ3 基于此熵引导锚点视图的对比学习框架是否能在多种图学习设置下超越现有最先进方法？
• RQ4 编码树的高度如何影响所提方法的性能？

主要发现

• 在无监督学习设置下，SEGA 在八个图分类基准上达到最先进性能，与最先进增强方法结合后，平均准确率提升 0.85% 至 1.28%。
• 在迁移学习中，SEGA 在九个基准上相较 GraphCL 实现了平均 3.17% 的 ROC-AUC 提升，展现出强大的泛化能力。
• 在半监督学习中，SEGA 显著优于所有基线方法，且在所有数据集上均保持一致的性能提升，验证了其在标签有限场景下的有效性。
• 消融实验表明，与随机编码树相比，结构熵引导显著提升了性能，且在全部八个基准上均保持一致的增益。
• 最优编码树高度因数据集而异，通常浅层树（k ≤ 5）表现最佳，但 NCI1 和 DD 数据集显示出深层结构的潜力。