[论文解读] What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

Jintang Li, Ruofan Wu+7 more|arXiv (Cornell University)|May 20, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出 MaskGAE，一种自监督图表示学习框架，采用遮蔽图建模（MGM）作为先验任务，通过随机遮蔽并重建边来提升表示学习效果。该方法在互信息最大化理论上具有坚实基础，在链接预测与节点分类基准测试中，性能优于标准图自编码器及当前最先进基线模型，尤其在嵌入维度较小时表现更优。

ABSTRACT

The last years have witnessed the emergence of a promising self-supervised learning strategy, referred to as masked autoencoding. However, there is a lack of theoretical understanding of how masking matters on graph autoencoders (GAEs). In this work, we present masked graph autoencoder (MaskGAE), a self-supervised learning framework for graph-structured data. Different from standard GAEs, MaskGAE adopts masked graph modeling (MGM) as a principled pretext task - masking a portion of edges and attempting to reconstruct the missing part with partially visible, unmasked graph structure. To understand whether MGM can help GAEs learn better representations, we provide both theoretical and empirical evidence to comprehensively justify the benefits of this pretext task. Theoretically, we establish close connections between GAEs and contrastive learning, showing that MGM significantly improves the self-supervised learning scheme of GAEs. Empirically, we conduct extensive experiments on a variety of graph benchmarks, demonstrating the superiority of MaskGAE over several state-of-the-arts on both link prediction and node classification tasks.

研究动机与目标

• 为解决图自编码器（GAEs）中遮蔽机制缺乏理论理解的问题。
• 探究遮蔽图建模（MGM）是否能增强图自编码器中的表示学习。
• 开发一种系统化、理论基础坚实的图结构数据自监督学习框架。
• 通过实证验证 MaskGAE 在下游任务中相较于标准 GAE 及最先进方法的优越性。
• 分析关键超参数（如遮蔽率、嵌入大小、编码器架构）的影响。

提出的方法

• MaskGAE 采用遮蔽图建模（MGM）作为先验任务，其中部分边被遮蔽，模型从剩余可见图结构中重建这些边。
• 该框架采用图自编码器架构，包含图神经网络（GNN）编码器和解码器，用于重建被遮蔽的边或路径。
• 提出两种遮蔽策略：边级遮蔽（遮蔽单个边）与路径级遮蔽（遮蔽节点间的完整路径）。
• 损失函数结合了被遮蔽边的重建损失与度数正则化损失，以稳定训练并提升泛化能力。
• 理论分析表明，MGM 通过减少子图视图之间的冗余性，增强互信息最大化。
• 模型通过反向传播端到端训练，采用交叉熵损失进行边重建。

实验结果

研究问题

• RQ1 与标准图重建相比，遮蔽图建模（MGM）如何提升图自编码器中的自监督学习？
• RQ2 在图自编码器（GAEs）背景下，遮蔽图建模与对比学习之间存在何种理论关联？
• RQ3 不同的遮蔽策略（边级 vs. 路径级）如何影响模型性能与表示质量？
• RQ4 MaskGAE 中重建损失与正则化损失之间最优权衡为何？
• RQ5 嵌入大小与编码器架构等超参数如何影响 MaskGAE 的性能？

主要发现

• MaskGAE 在多个基准数据集的链接预测与节点分类任务中均达到最先进性能，优于标准 GAE 及强对比基线模型。
• 在 Cora、CiteSeer 和 PubMed 数据集中，使用 GCN 编码器的 MaskGAE 在路径级遮蔽下达到 84.30% 准确率，在边级遮蔽下达到 83.77%，优于 GAT 与 SAGE 变体。
• 即使在小嵌入维度（如 64）下，模型性能依然出色，表明其表示具有高度信息量且紧凑，而对比方法通常需要更大维度（如 512）。
• 当 α > 0 时，度数正则化损失（L_deg）可提升性能，尤其对路径级遮蔽变体效果更明显，但 α 过高时会出现过拟合。
• GCN 在所有实验中均优于 GAT 与 SAGE 作为编码器，表明在结合 MGM 时，简单架构已足够。
• 消融研究证实，路径级遮蔽比边级遮蔽更有效，尤其在 Photo 与 Computer 等密集图上表现更优。