[论文解读] Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping

Zhan Gao, Subhrajit Bhattacharya+4 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Graph Neural Networks参考文献 52被引用 12

一句话总结

本文提出 TADropEdge，一种拓扑感知的边裁剪方法，通过在数据增强过程中保持图的结构完整性，提升图神经网络（GNN）的泛化能力。通过利用基于图谱的边权重来优先保留对连通性至关重要的边，TADropEdge 自适应地裁剪非关键边，减少噪声子图，从而在引文网络和合成网络中均提升性能。

ABSTRACT

Graph neural networks (GNNs) are processing architectures that exploit graph structural information to model representations from network data. Despite their success, GNNs suffer from sub-optimal generalization performance given limited training data, referred to as over-fitting. This paper proposes Topology Adaptive Edge Dropping (TADropEdge) method as an adaptive data augmentation technique to improve generalization performance and learn robust GNN models. We start by explicitly analyzing how random edge dropping increases the data diversity during training, while indicating i.i.d. edge dropping does not account for graph structural information and could result in noisy augmented data degrading performance. To overcome this issue, we consider graph connectivity as the key property that captures graph topology. TADropEdge incorporates this factor into random edge dropping such that the edge-dropped subgraphs maintain similar topology as the underlying graph, yielding more satisfactory data augmentation. In particular, TADropEdge first leverages the graph spectrum to assign proper weights to graph edges, which represent their criticality for establishing the graph connectivity. It then normalizes the edge weights and drops graph edges adaptively based on their normalized weights. Besides improving generalization performance, TADropEdge reduces variance for efficient training and can be applied as a generic method modular to different GNN models. Intensive experiments on real-life and synthetic datasets corroborate theory and verify the effectiveness of the proposed method.

研究动机与目标

• 解决因训练数据有限而导致 GNN 过拟合的问题，以及泛化能力不足的问题。
• 克服传统 i.i.d. 边裁剪方法（如 DropEdge）的局限性，这些方法因生成结构噪声子图而降低性能。
• 通过将图拓扑（特别是连通性）整合到边裁剪过程中，改进 GNN 训练中的数据增强。
• 开发一种通用且模块化的通用方法，适用于多种 GNN 架构，提升训练稳定性和性能。
• 证明在边裁剪过程中保留拓扑结构可实现更高效、更鲁棒的 GNN 学习。

提出的方法

• 在边裁剪前，识别输入图中的不相交连通分量，以定位结构区域。
• 利用从图谱中导出的聚合电阻权重计算与连通性相关的边权重，量化每条边对分量连通性的关键程度。
• 对边权重进行归一化，以支持概率采样，同时保持边之间相对重要性的关系。
• 通过更频繁地采样低归一化权重的边，实现自适应边裁剪，从而保留高连通性结构。
• 将该方法作为插件模块集成到 GNN 训练过程中，适用于任意 GNN 主干网络，无需修改网络架构。
• 使用生成的边裁剪子图作为增强训练数据，以提升模型泛化能力并降低方差。

实验结果

研究问题

• RQ1 随机边裁剪如何影响 GNN 中的数据多样性与泛化能力？为何 i.i.d. 边裁剪方法表现不佳？
• RQ2 在边裁剪过程中保留图连通性，与标准数据增强相比，能在多大程度上提升 GNN 性能？
• RQ3 拓扑感知的边裁剪是否能降低不同 GNN 架构下的训练方差并提升鲁棒性？
• RQ4 TADropEdge 在引文网络和合成图基准上的性能与当前最先进 GNN 方法相比如何？
• RQ5 该方法在不同图拓扑结构下，尤其是具有强聚类特性的图中，是否仍保持优越性能？

主要发现

• 在 Cora 数据集上（使用 GCN），TADropEdge 达到 88.30% 的准确率；在 CiteSeer 上为 81.40%；在 PubMed 上为 91.50%，优于 FastGCN、AS-GCN 和 GraphSAGE 等现有 SOTA 方法。
• 在 PubMed 数据集上，TADropEdge-GCN 使用 3 层架构实现 91.50% 的准确率，显著优于 GraphSAGE 的 87.10% 和 NeuralSparse 的 85.00%。
• 在随机块模型图上的源定位任务中，TADropEdge（使用截断阈值）达到 86.0% 的准确率，超过 DropEdge（83.6%）和原始 GCNN（82.0%）。
• 在具有强聚类特性的图（如 Cora、CiteSeer）上，性能提升最为显著，表明拓扑感知裁剪在结构一致性至关重要的场景下尤为有效。
• TADropEdge 在多种 GNN 主干网络（GCN、JKNet、IncepGCN）上均一致提升泛化性能，证明其模块化设计与广泛适用性。
• 该方法通过避免使用高度扭曲且与拓扑无关的子图，降低训练方差，从而实现更稳定、高效的优化。