[论文解读] Robust Optimization as Data Augmentation for Large-scale Graphs

Kezhi Kong, Guohao Li+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出 FLAG，一种通用、可扩展的图神经网络数据增强方法，通过在训练过程中对节点特征应用免费的、基于梯度的对抗性扰动，提升模型泛化能力。通过使模型对输入的微小波动保持鲁棒性，而无需修改图结构，FLAG 在节点分类、链接预测和图分类任务中均提升了测试准确率——在 ogbn-products 上使用 GAT 时实现了 2.31% 的绝对性能提升。

ABSTRACT

Data augmentation helps neural networks generalize better by enlarging the training set, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on manipulating graph topological structures by adding/removing edges, we offer a method to augment node features for better performance. We propose FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training. By making the model invariant to small fluctuations in input data, our method helps models generalize to out-of-distribution samples and boosts model performance at test time. FLAG is a general-purpose approach for graph data, which universally works in node classification, link prediction, and graph classification tasks. FLAG is also highly flexible and scalable, and is deployable with arbitrary GNN backbones and large-scale datasets. We demonstrate the efficacy and stability of our method through extensive experiments and ablation studies. We also provide intuitive observations for a deeper understanding of our method.

研究动机与目标

• 解决在大规模真实世界图数据集上训练 GNN 时出现的过拟合和泛化能力差的问题。
• 克服图结构化数据，尤其是节点特征空间中缺乏有效数据增强技术的现状。
• 开发一种可扩展、通用的方法，在不修改图拓扑结构或无需任务特定设计的前提下提升 GNN 性能。
• 探究在特征空间中进行对抗性训练是否能增强泛化能力，特别是对分布外样本的泛化能力。
• 证明图学习中的对抗性增强行为与视觉任务不同，其表现依赖于输入数据分布。

提出的方法

• 提出 FLAG（Free Large-scale Adversarial Augmentation on Graphs），一种在训练过程中直接对节点特征应用基于梯度的对抗性扰动的方法。
• 利用 '免费' 对抗训练（Shafahi et al., 2019）高效生成扰动，计算开销极低。
• 采用多尺度对抗性增强，提升对不同扰动幅度的鲁棒性，改善泛化性能。
• 仅修改节点特征，保持图结构不变，使其与基于拓扑的数据增强方法正交。
• 可无缝集成到任意 GNN 主干网络（如 GCN、GAT、GraphSAGE、GIN、DeeperGCN）中，代码修改极少（PyTorch 中仅需十余行）。
• 使用迭代式 FGSM 风格扰动，构造最大化模型损失但保持标签一致性的对抗样本。

实验结果

研究问题

• RQ1 即使图结构保持不变，节点特征空间中的对抗性扰动是否能提升 GNN 的泛化能力？
• RQ2 与拓扑增强相比，特征空间中的对抗性数据增强在性能和可扩展性方面表现如何？
• RQ3 对抗性增强的效果是否依赖于节点特征的数据分布，特别是离散特征与连续特征之间是否存在差异？
• RQ4 对抗性训练是否能提升 GNN 的干净准确率，与普遍认为其会损害标准性能的观点相反？
• RQ5 FLAG 在大规模基准数据集上对多种 GNN 架构和任务（节点、链接和图分类）的表现如何？

主要发现

• 在 GAT 上应用 FLAG 后，ogbn-products 的测试准确率提升了 2.31%，在节点分类任务中表现出显著性能增益。
• FLAG 提升了 ogbl-ddi 的链接预测性能，在多个 GNN 主干网络上均实现了更高的 hits@20 分数。
• FLAG 提升了 ogbg-molhiv 的图分类准确率，在 GIN 和 GraphSAGE 等不同 GNN 架构上均表现出一致的性能增益。
• FLAG 即使在深度 GNN（如 DeeperGCN）上也提升了泛化能力，在 ogbn-arxiv 上随着网络深度增加，准确率持续提升。
• FLAG 在 ogbn-products（61.06% → 62.41%）和 ogbn-arxiv（55.50% → 56.02%）上也提升了 MLP 的性能，证明其在 GNN 之外同样有效。
• 该方法的成功对节点特征构建方式敏感：使用 'sum' 而非 'mean' 特征时，模型表现出更强的不变性，且在 FLAG 下性能增益更明显。