[论文解读] Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks

Jiadong Lin, Chuanbiao Song+3 more|arXiv (Cornell University)|Aug 17, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用 229

一句话总结

该论文提出两种基于梯度的对抗攻击增强方法 NI-FGSM 和 SIM，以提高跨模型的攻击转移性，尤其对抗防御时，并在 ImageNet 上展示强大的黑盒有效性。

ABSTRACT

Deep learning models are vulnerable to adversarial examples crafted by applying human-imperceptible perturbations on benign inputs. However, under the black-box setting, most existing adversaries often have a poor transferability to attack other defense models. In this work, from the perspective of regarding the adversarial example generation as an optimization process, we propose two new methods to improve the transferability of adversarial examples, namely Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) and Scale-Invariant attack Method (SIM). NI-FGSM aims to adapt Nesterov accelerated gradient into the iterative attacks so as to effectively look ahead and improve the transferability of adversarial examples. While SIM is based on our discovery on the scale-invariant property of deep learning models, for which we leverage to optimize the adversarial perturbations over the scale copies of the input images so as to avoid "overfitting" on the white-box model being attacked and generate more transferable adversarial examples. NI-FGSM and SIM can be naturally integrated to build a robust gradient-based attack to generate more transferable adversarial examples against the defense models. Empirical results on ImageNet dataset demonstrate that our attack methods exhibit higher transferability and achieve higher attack success rates than state-of-the-art gradient-based attacks.

研究动机与目标

• 在黑盒设置下研究可转移的对抗样本的动机。
• 引入两种新的攻击策略以提高可转移性：NI-FGSM 和 SIM。
• 证明结合 NI-FGSM 和 SIM 能得到稳健的攻击（SI-NI-FGSM）。
• 在 ImageNet 上对普通训练和对抗性训练的模型展示出优越的攻击性能。
• 针对先进防御进行评估，以突出所提出攻击的鲁棒性。

提出的方法

• 将对抗样本生成重新表述为一个带有 L∞ 范围约束的优化问题。
• 通过在迭代梯度攻击中引入 Nesterov 加速梯度来实现 NI-FGSM。
• 通过利用深度网络的尺度不变性并在输入的尺度副本上进行损失最大化来实现 SIM。
• 将 NI-FGSM 和 SIM 结合为 SI-NI-FGSM，并通过 DIM、TIM、TI-DIM 的变体扩展以获得进一步提升。
• 给出一个算法（SI-NI-FGSM），在更新过程中包含尺度-副本梯度求和与 Nesterov 修正。

实验结果

研究问题

• RQ1 Nesterov 加速梯度是否能提升基于梯度的对抗攻击的转移性？
• RQ2 通过输入尺度利用尺度不变性（SIM）是否能提升跨模型转移性？
• RQ3 将 NI-FGSM 与 SIM 结合的 SI-NI-FGSM 是否在普通和鲁棒防御下都优于现有的基于梯度的攻击？
• RQ4 在 ImageNet 上，SI-NI-FGSM 的各变体在面对先进防御和对抗性训练模型时的表现如何？

主要发现

• SI-NI-FGSM 及其 DIM/TIM 拓展在 ImageNet 的黑盒转移性上持续超越基线。
• SI-NI-TI-DIM 在高转移性方面表现优异，即使对抗性训练的模型也能达到约 93.5% 的平均成功率。
• SI-NI-FGSM 通常所需迭代次数更少即可达到等效或更高的攻击成功率，显示生成更快且转移性更好。
• 输入的尺度不变性在不同尺度上维持损失的稳定性，使得无需重新训练多模型即可进行有效的模型增强。
• 在尺度增强输入的集合上优化的攻击对未见的防御转移性更强，超越了现有最先进的基于梯度的方法。