[论文解读] Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples

Dan Peng, Zizhan Zheng+1 more|arXiv (Cornell University)|Sep 8, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用 4

一句话总结

本文提出结构保持转换（SPT），一种通过在保持图像结构模式的同时允许颜色和亮度的显著变化，来生成自然、多样且高度可迁移的对抗样本的方法。与传统方法限制扰动在小ℓp范数内不同，SPT通过保持语义结构来确保人类感知相似性，从而在对抗防御模型和不同架构之间实现高攻击成功率。

ABSTRACT

Adversarial examples are perturbed inputs designed to fool machine learning models. Most recent works on adversarial examples for image classification focus on directly modifying pixels with minor perturbations. A common requirement in all these works is that the malicious perturbations should be small enough (measured by an L_p norm for some p) so that they are imperceptible to humans. However, small perturbations can be unnecessarily restrictive and limit the diversity of adversarial examples generated. Further, an L_p norm based distance metric ignores important structure patterns hidden in images that are important to human perception. Consequently, even the minor perturbation introduced in recent works often makes the adversarial examples less natural to humans. More importantly, they often do not transfer well and are therefore less effective when attacking black-box models especially for those protected by a defense mechanism. In this paper, we propose a structure-preserving transformation (SPT) for generating natural and diverse adversarial examples with extremely high transferability. The key idea of our approach is to allow perceptible deviation in adversarial examples while keeping structure patterns that are central to a human classifier. Empirical results on the MNIST and the fashion-MNIST datasets show that adversarial examples generated by our approach can easily bypass strong adversarial training. Further, they transfer well to other target models with no loss or little loss of successful attack rate.

研究动机与目标

• 为解决小扰动对抗攻击的局限性，此类攻击生成的样本不自然、多样性低且可迁移性差。
• 克服对ℓp范数的依赖，因为ℓp范数忽略了感知上重要的结构模式，降低了对分布偏移的鲁棒性。
• 通过生成与训练数据分布不同的对抗样本，提升黑箱攻击的成功率。
• 通过利用结构不变性而非最小失真，实现对对抗训练防御的有效规避。
• 探索结构模式在深度神经网络泛化与脆弱性中的作用。

提出的方法

• SPT应用可学习的、结构感知的变换，根据局部结构模式修改像素值，而非采用均匀扰动。
• 该方法保留对人类识别至关重要的形状和轮廓特征，同时改变亮度和颜色。
• 变换由可学习权重参数化，可自适应地匹配每张输入图像的结构内容。
• 该方法避免ℓp范数约束，允许显著变化，同时仍保持语义相似性。
• 通过可微损失函数强制结构保持，同时优化模型误分类目标，生成对抗样本。
• 该方法在MNIST和fashion-MNIST上进行评估，攻击目标包括标准模型和对抗训练模型。

实验结果

研究问题

• RQ1 能否在不依赖小ℓp扰动的情况下，生成感知自然且多样的对抗样本？
• RQ2 在图像中保持结构模式是否能提升跨模型和防御机制的可迁移性？
• RQ3 在颜色和亮度上显著偏离的对抗样本是否仍可被DNN误分类？
• RQ4 为何传统ℓp-based攻击难以有效迁移至防御模型？
• RQ5 DNN在分类分布外图像时，对像素分布的依赖程度如何，而非结构模式？

主要发现

• SPT生成的对抗样本在标准模型和对抗训练模型（包括基于PGD的防御）上实现了接近100%的攻击成功率。
• 即使目标模型采用强防御机制，SPT攻击在不同架构之间仍能有效迁移，成功率损失极小。
• SPT生成的对抗样本表现出高度多样性，因它们保持结构一致，但在不同目标模型中亮度和颜色各不相同。
• SPT成功的原因在于其能生成与训练数据分布不同的样本，从而破坏当前防御机制的i.i.d.假设。
• DNN常将SPT样本误分类，并非因形状差异，而是由于像素值的分布偏移，表明其更依赖统计模式而非结构特征。
• 该方法在多样性和可迁移性方面优于现有GAN-based和色彩空间变换方法，尤其在灰度图像上表现更优。