[论文解读] Nesterov Accelerated Gradient and Scale Invariance for Improving Transferability of Adversarial Examples.

Jiadong Lin, Chuanbiao Song+3 more|arXiv (Cornell University)|Aug 17, 2019

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出 NI-FGSM 和 SIM，以在黑盒设置下提升对抗样本的迁移性。NI-FGSM 使用 Nesterov 加速梯度实现前瞻优化，而 SIM 通过在缩放后的图像副本上进行优化，利用尺度不变性以减少过拟合；二者结合在 ImageNet 上实现了最先进水平的攻击成功率。

ABSTRACT

Deep learning models are vulnerable to adversarial examples crafted by applying human-imperceptible perturbations on benign inputs. However, under the black-box setting, most existing adversaries often have a poor transferability to attack other defense models. In this work, from the perspective of regarding the adversarial example generation as an optimization process, we propose two new methods to improve the transferability of adversarial examples, namely Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) and Scale-Invariant attack Method (SIM). NI-FGSM aims to adapt Nesterov accelerated gradient into the iterative attacks so as to effectively look ahead and improve the transferability of adversarial examples. While SIM is based on our discovery on the scale-invariant property of deep learning models, for which we leverage to optimize the adversarial perturbations over the scale copies of the input images so as to avoid overfitting on the white-box model being attacked and generate more transferable adversarial examples. NI-FGSM and SIM can be naturally integrated to build a robust gradient-based attack to generate more transferable adversarial examples against the defense models. Empirical results on ImageNet dataset demonstrate that our attack methods exhibit higher transferability and achieve higher attack success rates than state-of-the-art gradient-based attacks.

研究动机与目标

• 解决在黑盒设置下对抗样本迁移性差的问题，即攻击无法在不同防御模型间泛化。
• 通过将对抗样本生成重新构想为一个优化过程，提升对抗样本的鲁棒性和泛化能力。
• 克服在白盒攻击生成过程中对目标模型的过拟合问题，该问题限制了其在未见防御模型上的迁移性。
• 开发无需在初始攻击阶段之外访问目标模型架构或梯度的方法，以增强迁移性。
• 在保持对多样化防御机制下扰动不可察觉的前提下，提升在 ImageNet 上的攻击成功率。

提出的方法

• 提出 Nesterov 迭代快速梯度符号法（NI-FGSM），将 Nesterov 加速梯度整合到迭代 FGSM 中，实现在对抗扰动生成过程中的前瞻优化。
• 提出尺度不变攻击方法（SIM），通过在输入图像的多个缩放副本上优化扰动来生成对抗样本，以利用深度网络的尺度不变特性。
• 利用深度学习模型的尺度不变性，在攻击训练过程中减少对原始输入图像特定尺度的过拟合。
• 将 NI-FGSM 和 SIM 结合为统一的基于梯度的攻击框架，以同时提升收敛性和迁移性。
• 在 NI-FGSM 中使用带有动量类似更新的迭代优化，以提升对抗扰动生成过程中方向性和稳定性。
• 在攻击过程中应用缩放增强的数据，以促使模型学习在不同输入尺度下均能泛化的扰动。

实验结果

研究问题

• RQ1 Nesterov 加速梯度能否提升迭代 FGSM 攻击中对抗样本的迁移性？
• RQ2 利用深度网络的尺度不变特性是否能生成更鲁棒且更具泛化能力的对抗样本？
• RQ3 结合前瞻优化（通过 Nesterov）与缩放增强的扰动搜索，能否提升对抗样本在不同防御模型间的迁移性？
• RQ4 所提方法在具有防御机制的 ImageNet 上，与最先进基于梯度的攻击相比，攻击成功率如何？
• RQ5 在对抗样本生成过程中，尺度不变性优化在多大程度上减少了对白盒模型的过拟合？

主要发现

• NI-FGSM 和 SIM 联合使用在 ImageNet 数据集上的迁移性优于最先进基于梯度的攻击方法。
• Nesterov 加速的集成使对抗搜索过程具备更好的收敛性和方向性，从而提升了迁移性。
• 通过 SIM 实现的尺度不变性优化减少了对原始输入尺度的过拟合，从而生成更具泛化能力的对抗扰动。
• 实验结果表明，所提方法在防御模型上的攻击成功率高于现有方法。
• 深度网络的尺度不变特性被有效利用，以生成在不同输入尺度下均能泛化的对抗样本。
• NI-FGSM 与 SIM 的联合框架在 ImageNet 上对多样化防御机制表现出稳健的性能。