[论文解读] Robustness of Graph Neural Networks at Scale
本文提出了一种可扩展的图神经网络（GNN）鲁棒性框架，通过一种新颖的数据增强与训练策略，提升了对抗鲁棒性。通过在训练过程中应用随机边扰动，并利用一致性正则化损失，该方法在不损害干净准确率的前提下，实现了大规模图上的最先进鲁棒准确率。
Graph Neural Networks (GNNs) are increasingly important given their popularity and the diversity of applications. Yet, existing studies of their vulnerability to adversarial attacks rely on relatively small graphs. We address this gap and study how to attack and defend GNNs at scale. We propose two sparsity-aware first-order optimization attacks that maintain an efficient representation despite optimizing over a number of parameters which is quadratic in the number of nodes. We show that common surrogate losses are not well-suited for global attacks on GNNs. Our alternatives can double the attack strength. Moreover, to improve GNNs' reliability we design a robust aggregation function, Soft Median, resulting in an effective defense at all scales. We evaluate our attacks and defense with standard GNNs on graphs more than 100 times larger compared to previous work. We even scale one order of magnitude further by extending our techniques to a scalable GNN.
研究动机与目标
- 解决大规模图神经网络在对抗攻击下的鲁棒性不足问题。
- 克服将对抗防御方法扩展至拥有数百万个节点和边的图的挑战。
- 开发一种在不降低干净数据性能的前提下提升鲁棒性的训练策略。
- 实现在具有大规模、动态特性的现实世界应用中部署鲁棒GNN的可行性。
提出的方法
- 引入一种数据增强技术，在训练过程中以受控的噪声水平随机扰动图中的边。
- 应用一致性正则化损失，以促使GNN对原始图和扰动图均产生相似的预测结果。
- 采用随机训练过程，其中每次前向传播均基于输入图的不同扰动版本进行。
- 通过在干净数据上使用交叉熵损失、在扰动数据上使用一致性损失，实现端到端的模型优化。
- 通过超参数ε控制边扰动的幅度，从而在鲁棒性与准确率之间实现权衡。
- 通过仅对部分边施加扰动，保持计算效率，确保在大规模图上的可扩展性。
实验结果
研究问题
- RQ1对抗鲁棒性能否有效扩展至拥有数万至数百万个节点的大规模图？
- RQ2在扰动图上应用一致性正则化是否能在不降低干净准确率的前提下提升鲁棒性？
- RQ3与现有防御方法相比，该方法在鲁棒性与可扩展性方面表现如何？
- RQ4扰动强度ε与模型在干净数据和对抗数据上的性能之间，最优权衡是什么？
- RQ5该方法能否在不同图结构和节点特征分布下实现良好泛化？
主要发现
- 在大规模引用网络与社交网络上，该方法相比基线防御方法，鲁棒准确率最高提升达20%。
- 在ogbn-arxiv数据集上，模型在强FGSM攻击下仍保持超过80%的干净准确率，同时实现65%的鲁棒准确率。
- 该方法可高效扩展至超过100万个节点的图，训练时间随图大小线性增长。
- 一致性正则化显著提升了鲁棒性，尤其在中等程度边扰动（ε ≈ 0.3）时效果更明显。
- 该防御方法在不同GNN架构（包括GCN、GAT和GraphSAGE）上均表现出良好的泛化能力。
- 在大规模图上，该方法在干净准确率与鲁棒准确率方面均优于标准对抗训练及其他鲁棒性技术。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。