[论文解读] Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey

Naveed Akhtar, Ajmal Mian|UWA Profiles and Research Repository (UWA)|Jan 2, 2018

Adversarial Robustness in Machine Learning参考文献 156被引用 168

一句话总结

对深度学习在计算机视觉中的对抗性攻击的全面综述，详细介绍攻击方法、威胁模型、可迁移性、防御以及现实世界评估。

ABSTRACT

Deep learning is at the heart of the current rise of machine learning and artificial intelligence. In the field of Computer Vision, it has become the workhorse for applications ranging from self-driving cars to surveillance and security. Whereas deep neural networks have demonstrated phenomenal success (often beyond human capabilities) in solving complex problems, recent studies show that they are vulnerable to adversarial attacks in the form of subtle perturbations to inputs that lead a model to predict incorrect outputs. For images, such perturbations are often too small to be perceptible, yet they completely fool the deep learning models. Adversarial attacks pose a serious threat to the success of deep learning in practice. This fact has lead to a large influx of contributions in this direction. This article presents the first comprehensive survey on adversarial attacks on deep learning in Computer Vision. We review the works that design adversarial attacks, analyze the existence of such attacks and propose defenses against them. To emphasize that adversarial attacks are possible in practical conditions, we separately review the contributions that evaluate adversarial attacks in the real-world scenarios. Finally, we draw on the literature to provide a broader outlook of the research direction.

研究动机与目标

• 概述深度学习在计算机视觉中的对抗性攻击全貌。
• 分析跨任务的对抗性扰动的存在性及特性。
• 评估防御策略及其对各种攻击的有效性。
• 考察对抗性攻击的现实世界评估和实际威胁场景。
• 对该领域的未来方向给出展望。

提出的方法

• 对视觉任务的对抗性攻击方法进行系统性文献综述。
• 按威胁模型（黑盒、白盒）和范数（L0、L2、L_inf）对攻击进行分类。
• 对具有代表性的攻击算法进行技术阐述（例如 L-BFGS、FGSM、BIM、JSMA、C&W、DeepFool、通用扰动）。
• 讨论超越分类任务的攻击（自编码器、VAE、GAN、RNN）以及现实世界的考量。
• 综合防御与可迁移性方面的考虑，并就尚待解决的挑战给出说明。

实验结果

研究问题

• RQ1 在计算机视觉中，用于欺骗深度学习模型的主要对抗性攻击方法有哪些？
• RQ2 在白盒、黑盒和通用扰动设置下，攻击方法有何区别？
• RQ3 现存的对抗性攻击防御有哪些，在不同情景中的效果如何？
• RQ4 在超越实验室数据集的现实环境中，对抗性攻击的表现如何？
• RQ5 在视觉系统对抗鲁棒性的开放挑战与未来方向是什么？

主要发现

• 对抗性扰动可在感知不到的改变下欺骗视觉模型。
• 攻击可迁移，使得通过为其他模型设计的扰动实现黑盒攻击成为可能。
• 通用扰动在图像和模型之间具有泛化性，达到高误导比率。
• 存在众多攻击家族（L-BFGS、FGSM、BIM、JSMA、C&W、DeepFool、UPSET、ANGRI、Houdini、ATNs），具有不同的范数和目标。
• 诸如防御蒸馏之类的防御手段在面对更强、更新的攻击时往往失效，凸显持续的鲁棒性挑战。
• 研究范围涵及分类及其 Beyond（自编码器、VAE、GAN、RNN），现实世界评估显示实际威胁潜力。