[论文解读] Understanding and Enhancing the Transferability of Adversarial Examples

Lei Wu, Zhanxing Zhu+2 more|arXiv (Cornell University)|Feb 27, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用 95

一句话总结

本文分析模型特定因素与损失表面光滑性如何影响对抗样本的跨模型转移性，并提出一种方差降低的梯度攻击以提升跨模型和体系结构的转移性。

ABSTRACT

State-of-the-art deep neural networks are known to be vulnerable to adversarial examples, formed by applying small but malicious perturbations to the original inputs. Moreover, the perturbations can extit{transfer across models}: adversarial examples generated for a specific model will often mislead other unseen models. Consequently the adversary can leverage it to attack deployed systems without any query, which severely hinder the application of deep learning, especially in the areas where security is crucial. In this work, we systematically study how two classes of factors that might influence the transferability of adversarial examples. One is about model-specific factors, including network architecture, model capacity and test accuracy. The other is the local smoothness of loss function for constructing adversarial examples. Based on these understanding, a simple but effective strategy is proposed to enhance transferability. We call it variance-reduced attack, since it utilizes the variance-reduced gradient to generate adversarial example. The effectiveness is confirmed by a variety of experiments on both CIFAR-10 and ImageNet datasets.

研究动机与目标

• 研究源模型的架构、测试准确率和容量如何影响对抗样本的转移性。
• 检查损失函数的局部平滑性如何影响可转移的扰动。
• 提出并评估一种方差降低的攻击，以提高跨模型的转移性。

提出的方法

• 在 ImageNet及其他数据集上研究跨架构（ResNet、DenseNet、VGG）的转移性。
• 通过 FGSM/IGSM 攻击分析模型容量与准确率在转移性中的作用。
• 通过对损失进行卷积（高斯）平滑引入损失平滑，以推导可转移的梯度 G_sigma。
• 定义并实现方差降低的迭代梯度符号法（vr-IGSM）和方差降低的 FGSM（vr-FGSM）。
• 在 CIFAR-10 和 ImageNet 上，在白盒、黑盒和集成设置下评估攻击。

实验结果

研究问题

• RQ1 源模型的架构、容量和准确率如何影响对未见目标模型的对抗样本转移性？
• RQ2 损失表面的局部非平滑性如何影响转移性，平滑是否可以改善？
• RQ3 方差降低（平滑）梯度攻击是否可以改善跨模型转移性，包括集成和基于动量的方法？

主要发现

• 转移性在源模型和目标模型之间是非对称的，并且在具有相似架构的模型之间更高。
• 多步攻击通常更具可转移性，尽管其行为因架构而异。
• 更高的准确性和更小的模型深度（不仅仅是更大容量）往往产生更强的转移性，而较深的模型有时会产生更不具转移性的对抗样本。
• 通过局部梯度平均（G_sigma）平滑损失地形，相较于原始梯度（g_A），可提升转移性。
• 方差降低的攻击（vr-IGSM、vr-FGSM）在单模型和基于集成的设置中显著提升转移性，包括在 ImageNet 上取得显著提升。
• 当与基于动量的方法和集成方法结合时，方差降低的攻击仍然有效。