[论文解读] SemanticAdv: Generating Adversarial Examples via Attribute-conditional Image Editing

Haonan Qiu, Chaowei Xiao+4 more|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 89被引用 22

一句话总结

SemanticAdv 提出了一种新颖的方法，通过利用解耦表征和特征空间插值进行受控属性操作，基于图像编辑生成语义上真实的对抗性样本。该方法在人脸识别和语义分割模型上实现了高达 67.69% 的目标攻击成功率（T-FPR = 10⁻³），并成功绕过基于像素和基于属性的防御机制，揭示了超越 Lp 有界扰动的新漏洞。

ABSTRACT

Deep neural networks (DNNs) have achieved great success in various applications due to their strong expressive power. However, recent studies have shown that DNNs are vulnerable to adversarial examples which are manipulated instances targeting to mislead DNNs to make incorrect predictions. Currently, most such adversarial examples try to guarantee "subtle perturbation" by limiting the $L_p$ norm of the perturbation. In this paper, we aim to explore the impact of semantic manipulation on DNNs predictions by manipulating the semantic attributes of images and generate "unrestricted adversarial examples". In particular, we propose an algorithm \emph{SemanticAdv} which leverages disentangled semantic factors to generate adversarial perturbation by altering controlled semantic attributes to fool the learner towards various "adversarial" targets. We conduct extensive experiments to show that the semantic based adversarial examples can not only fool different learning tasks such as face verification and landmark detection, but also achieve high targeted attack success rate against \emph{real-world black-box} services such as Azure face verification service based on transferability. To further demonstrate the applicability of \emph{SemanticAdv} beyond face recognition domain, we also generate semantic perturbations on street-view images. Such adversarial examples with controlled semantic manipulation can shed light on further understanding about vulnerabilities of DNNs as well as potential defensive approaches.

研究动机与目标

• 为解决 Lp 有界对抗攻击的局限性，这类攻击缺乏语义真实感，且无法建模有意义的视觉属性变化。
• 通过操控特定视觉属性（如发色、眼镜）同时保持其他图像内容不变，实现对深度神经网络漏洞的细粒度分析。
• 开发一种生成具有受控、可解释语义变化的对抗性样本的方法，而非依赖难以察觉的像素级噪声。
• 评估现有防御机制（尤其是基于像素空间或属性空间过滤的防御）对这类语义对抗攻击的鲁棒性。
• 证明该方法可推广至人脸识别之外的更广泛视觉任务，如街景图像的语义分割。

提出的方法

• 利用预训练的、属性条件化的图像生成模型（如 StarGAN 或布局到图像模型），生成仅在单一语义属性上与原始图像不同的修改图像。
• 通过原始图像与属性编辑图像之间的特征空间插值，生成最终的对抗性样本，确保语义一致性与受控扰动。
• 利用深度生成模型中的解耦表征，隔离并修改特定视觉属性，而不会改变无关的图像内容。
• 将插值后的图像作为对抗性样本用于攻击 DNN，实现目标误分类，同时保持视觉合理性。
• 在白盒和黑盒设置下，使用人脸识别和语义分割模型验证攻击效果。
• 通过使用语义布局作为图像编辑的条件输入，将该框架扩展至街景图像，实现在分割模型上的攻击。

实验结果

研究问题

• RQ1 能否通过属性条件化的图像编辑生成语义上有意义且视觉上逼真的对抗性样本，而非依赖 Lp 有界噪声？
• RQ2 该方法在真实世界 DNN 上实现高目标攻击成功率的效率如何，特别是在黑盒设置下？
• RQ3 现有防御机制——尤其是基于像素的（如 JPEG、模糊处理）和基于属性的（如 AMI）——是否仍对这类语义对抗性样本有效？
• RQ4 与标准对抗攻击（如 CW 或 PGD）相比，SemanticAdv 的攻击性能在迁移性和鲁棒性方面表现如何？
• RQ5 该方法能否推广至非人脸视觉任务，如街景图像的语义分割？

主要发现

• 在人脸识别模型上，SemanticAdv 在 T-FPR = 10⁻³ 时实现 67.69% 的目标攻击成功率，优于 CW（37.24%）及其他基线方法。
• 即使在更严格的 T-FPR 阈值下（如 T-FPR = 10⁻⁴ 时为 19.50%），该方法仍保持高攻击成功率，表明其具有强大的迁移能力。
• 基于像素的防御机制（如 JPEG、模糊处理、特征压缩）对 SemanticAdv 均无效，攻击成功率仍保持高位。
• 基于属性的防御 AMI 仅能识别出 8% 的 SemanticAdv 生成的对抗性样本，而 CW 为 12%，表明其对语义攻击存在显著脆弱性。
• 基于对抗训练的防御机制对 SemanticAdv 生成样本的准确率仅为 10%，而对 PGD 的准确率为 46.7%，揭示当前对抗训练对语义扰动无效。
• 该方法成功攻击了语义分割模型，通过插入物体（如汽车）或修改属性（如移动行人），导致模型误分类或忽略关键物体。