[论文解读] Topology Attack and Defense for Graph Neural Networks: An Optimization Perspective

Kaidi Xu, Hongge Chen+5 more|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 81

一句话总结

本文通过对边缘扰动进行凸放松，引入基于梯度的拓扑攻击，用于图神经网络，并提出一种基于优化的对抗训练方法，以提高对这类攻击的鲁棒性。它在 Cora 和 Citeseer 上在有限的边扰动下显示出有效性，并展示对抗训练带来的鲁棒性提升。

ABSTRACT

Graph neural networks (GNNs) which apply the deep neural networks to graph data have achieved significant performance for the task of semi-supervised node classification. However, only few work has addressed the adversarial robustness of GNNs. In this paper, we first present a novel gradient-based attack method that facilitates the difficulty of tackling discrete graph data. When comparing to current adversarial attacks on GNNs, the results show that by only perturbing a small number of edge perturbations, including addition and deletion, our optimization-based attack can lead to a noticeable decrease in classification performance. Moreover, leveraging our gradient-based attack, we propose the first optimization-based adversarial training for GNNs. Our method yields higher robustness against both different gradient based and greedy attack methods without sacrificing classification accuracy on original graph.

研究动机与目标

• 在 GNNs 上动机并形式化拓扑攻击，其中在扰动预算下对边进行添加或删除。
• 开发一阶优化方法（PGD 和最小-最大攻击）以生成有效的拓扑扰动。
• 提出对 GNNs 的对抗训练，在不降低原始准确性的前提下提高对拓扑攻击的鲁棒性。
• 提供通过凸放松和投影方法处理离散图扰动的理论与算法工具。

提出的方法

• 用布尔对称扰动矩阵 S 建模边扰动，并放松为在 [0,1]^n 的连续变量 s，以便可行优化。
• 为节点级错分定义攻击损失（CE 型和 CW 型），并在两种威胁模型下提出攻击问题：固定权重的 GNN 与可重新训练权重的 GNN。
• 开发基于 PGD 的拓扑攻击，带有对扰动集合的投影，并包含一个闭式投影算子（命题 1）。
• 开发使用交替优化的最小-最大拓扑攻击，以处理内部权重重新训练和外部边扰动更新（算法 3）。
• 提出对抗性训练（极小-极大）通过对 W 在最坏情况扰动下进行训练来提高 GNN 的鲁棒性（算法 4）。
• 将方法建立在谱图理论和鲁棒优化原理之上。

实验结果

研究问题

• RQ1 在受限的边更改预算内，如何为 GNNs 最优地生成拓扑扰动？
• RQ2 一阶优化（PGD、最小-最大）是否能在边扰动预算下产生强力的拓扑攻击，它们与现有攻击相比如何？
• RQ3 基于这些拓扑攻击的对抗训练是否能在不牺牲干净图精度的情况下提高 GNN 的鲁棒性？
• RQ4 就有效性与防御而言，固定权重攻击与可重新训练权重攻击之间存在什么关系？

主要发现

攻击方法	Cora	Citeseer
clean (natural model)	18.2±0.1	28.9±0.3
DICE	18.9±0.2	29.8±0.4
Greedy	25.2±0.2	34.6±0.3
Meta-Self	22.7±0.3	31.2±0.5
CE-PGD	28.0±0.1	36.0±0.2
CW-PGD	27.8±0.4	37.1±0.5
CE-min-max	26.4±0.1	34.1±0.3
CW-min-max	26.0±0.3	34.7±0.6

• 在相同扰动预算（5% 的边）下，基于梯度的拓扑攻击在 Cora 和 Citeseer 上优于若干现有方法。
• 基于 PGD 的攻击通过迭代稳定收敛，显示出有效的攻击损失减少。
• 最小-最大拓扑攻击在对比重新训练模型的攻击时具有竞争力，尤其是在互动式 GCN 设置下。
• 对抗训练在不降低原始图的测试准确度的前提下，对梯度型和贪心拓扑攻击带来显著的鲁棒性提升。
• 鲁棒模型在 CE-PGD、CW-PGD 和 Greedy 攻击中展现更低的攻击成功率，随着扰动预算 ε 从 5% 提高到 20% ，鲁棒性提升。