[论文解读] Reliable Graph Neural Networks via Robust Aggregation

Simon Geisler, Daniel Zügner+1 more|arXiv (Cornell University)|Oct 29, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 24

一句话总结

本文提出 Soft Medoid，一种完全可微分的、鲁棒的图神经网络（GNN）聚合函数，通过借鉴稳健统计原理，减轻了对抗性注入边的影响。其断裂点为 0.5，即使一个节点最多一半的邻居为对抗性边，也能限制误差，使模型在 Citeseer 上对结构扰动的鲁棒性提升最多 5.5 倍，在低度数节点上提升 8 倍。

ABSTRACT

Perturbations targeting the graph structure have proven to be extremely effective in reducing the performance of Graph Neural Networks (GNNs), and traditional defenses such as adversarial training do not seem to be able to improve robustness. This work is motivated by the observation that adversarially injected edges effectively can be viewed as additional samples to a node's neighborhood aggregation function, which results in distorted aggregations accumulating over the layers. Conventional GNN aggregation functions, such as a sum or mean, can be distorted arbitrarily by a single outlier. We propose a robust aggregation function motivated by the field of robust statistics. Our approach exhibits the largest possible breakdown point of 0.5, which means that the bias of the aggregation is bounded as long as the fraction of adversarial edges of a node is less than 50\%. Our novel aggregation function, Soft Medoid, is a fully differentiable generalization of the Medoid and therefore lends itself well for end-to-end deep learning. Equipping a GNN with our aggregation improves the robustness with respect to structure perturbations on Cora ML by a factor of 3 (and 5.5 on Citeseer) and by a factor of 8 for low-degree nodes.

研究动机与目标

• 解决 GNN 对结构对抗攻击的严重脆弱性问题，即图边的扰动会显著降低模型性能。
• 指出传统 GNN 聚合函数（如求和、平均）对异常值高度敏感，单条对抗性边即可导致任意扭曲。
• 开发一种鲁棒的聚合机制，即使多达 50% 的邻域输入被污染，也能保持有界误差，确保对任意攻击模式的鲁棒性。
• 设计一种完全可微分的中位数替代方法，替代不可微分的中位数，从而支持深度 GNN 架构中的端到端训练。
• 特别提升低度数节点的鲁棒性，这些节点因邻域信息有限，传统上更容易受到结构攻击。

提出的方法

• 提出 Soft Medoid 作为中位数的可微分泛化，通过嵌入空间中成对距离的软最小化方法实现。
• 将聚合公式化为一个可微分的目标函数，近似中位数的同时允许反向传播中的梯度流动。
• 将 Soft Medoid 集成到 GNN 的消息传递框架中，替换更新规则中的标准聚合器（如求和或平均）。
• 确保该方法具有理论上的断裂点 0.5，即只要少于一半邻居为对抗性，估计器仍保持有界。
• 使用温度控制的软最小函数近似离散中位数选择，支持深度学习流水线中的平滑优化。
• 在标准 GNN 架构（如 GCN）中应用该方法，无需架构重构，实现即插即用的鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种可微分的鲁棒聚合函数，以抵抗 GNN 中的结构对抗攻击，且不依赖于特定攻击的假设？
• RQ2 具有高断裂点（0.5）的鲁棒聚合函数在不同水平的结构扰动下，能在多大程度上提升 GNN 的鲁棒性？
• RQ3 与现有防御方法相比，所提出的 Soft Medoid 聚合函数在低度数节点上的表现如何？这些节点本身更易受攻击。
• RQ4 该方法的鲁棒性增益是否可在 Cora 和 Citeseer 等多个基准数据集上，在标准攻击设置下得到实证验证？
• RQ5 使用可微分中位数近似是否能在干净数据上保持模型准确率，同时在攻击下显著提升鲁棒性？

主要发现

• 与基线 GNN 相比，Soft Medoid 在 Cora ML 上对结构扰动的鲁棒性相对提升了 3 倍，在 Citeseer 上最高提升了 5.5 倍。
• 该方法在 Cora ML 上实现了 550% 的相对鲁棒性提升，在低度数节点上最高提升了 8 倍，表明在挑战性场景下具有强大鲁棒性。
• 所提方法在多种攻击类型和数据集上优于先前的 SOTA 防御方法，包括 RGCN、[24] 和 [52]。
• 认证实验表明，Soft Medoid GDC 在边添加和删除攻击下，对各种扰动半径均保持较高的认证比例。
• 软最小化公式支持有效的反向传播和端到端训练，在保持高干净准确率的同时显著提升了鲁棒性。
• 理论分析证实，Soft Medoid 达到了最优断裂点 0.5，确保在少于一半邻居被污染的对抗条件下误差保持有界。