[论文解读] Watch out! Motion is Blurring the Vision of Your Deep Neural Networks

Qing Guo, Felix Juefei-Xu+6 more|arXiv (Cornell University)|Feb 10, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 44

一句话总结

本论文介绍 ABBA，一种基于运动的对抗性模糊攻击，能够生成在视觉上自然的运动模糊对抗样本以欺骗 DNN，并评估其转移性和对去模糊的鲁棒性。它还在仿真与真实场景中展示了物理世界的可行性。

ABSTRACT

The state-of-the-art deep neural networks (DNNs) are vulnerable against adversarial examples with additive random-like noise perturbations. While such examples are hardly found in the physical world, the image blurring effect caused by object motion, on the other hand, commonly occurs in practice, making the study of which greatly important especially for the widely adopted real-time image processing tasks (e.g., object detection, tracking). In this paper, we initiate the first step to comprehensively investigate the potential hazards of the blur effect for DNN, caused by object motion. We propose a novel adversarial attack method that can generate visually natural motion-blurred adversarial examples, named motion-based adversarial blur attack (ABBA). To this end, we first formulate the kernel-prediction-based attack where an input image is convolved with kernels in a pixel-wise way, and the misclassification capability is achieved by tuning the kernel weights. To generate visually more natural and plausible examples, we further propose the saliency-regularized adversarial kernel prediction, where the salient region serves as a moving object, and the predicted kernel is regularized to achieve naturally visual effects. Besides, the attack is further enhanced by adaptively tuning the translations of object and background. A comprehensive evaluation on the NeurIPS'17 adversarial competition dataset demonstrates the effectiveness of ABBA by considering various kernel sizes, translations, and regions. The in-depth study further confirms that our method shows more effective penetrating capability to the state-of-the-art GAN-based deblurring mechanisms compared with other blurring methods. We release the code to https://github.com/tsingqguo/ABBA.

研究动机与目标

• 研究在现实世界感知任务中，物体运动导致的模糊如何威胁深度神经网络（DNN）。
• 开发基于核预测的对抗性攻击框架，产生视觉上自然的运动模糊。
• 通过显著性正则化和区域运动约束来提升自然性，从而提高攻击的可信度。
• 在成功率和转移性方面评估 ABBA 相对于最先进的叠加攻击和模糊基线。
• 探索在物理世界中实现对抗性模糊的可行性以及对去模糊方法的鲁棒性。

提出的方法

• 引入 ABBA：一种基于核预测的对抗性攻击，其中每个像素在局部邻域内与可学习的核进行卷积。
• 扩展为 ABBA_pixel（未正则化核）和 ABBA_motion，结合显著性引导、区域一致的模糊正则化。
• 使用显著性映射来指示运动对象区域，并对核进行正则化，以在对象/背景区域中产生视觉上自然的运动模糊。
• 通过将对象和背景分成 N 个子运动进行平移并累积平移后的像素邻域来模拟模糊（式 (Eq. 4)）。
• 在 ABBA_motion 中，联合优化核权重和平移参数，以在最大化目标损失的同时约束核稀疏性并促进区域内核的一致性。
• 提出 ABBA_physical：将核固定为平均值并强制共享平移，以模拟真实世界相机造成的模糊；在 AirSim 中验证，并结合真实手机实验。
• 在 NeurIPS’17 的对手数据集中对多种模型（Inc-v3、Inc-v4、IncRes-v2、Xception）和防御进行评估；与叠加攻击和模糊基线进行比较；评估对 DeblurGAN/ DeblurGANv2 的鲁棒性。

实验结果

研究问题

• RQ1 运动模糊如何影响 DNN 感知，以及我们是否能设计在视觉上可信但对分类器产生误导的对抗样本？
• RQ2 基于核预测的攻击能否在攻击成功率和转移性方面优于传统模糊方法和叠加噪声攻击？
• RQ3 以显著性引导、区域一致的运动模糊是否在不牺牲效果的前提下提升攻击的可信度？
• RQ4 在仿真和现实世界场景中可实现的对抗性模糊攻击是否可行，它们对去模糊技术有多鲁棒？

主要发现

• ABBA 和 ABBA_pixel 相对于模糊基线，在通常训练的模型和防御模型中实现了更高的攻击成功率和转移性。
• ABBA_examples 即使在更高的攻击成功率下也保持视觉自然（BRISQUE 分数更低），不同于会降低图像质量的叠加噪声攻击。
• 与 DeblurGAN 和 DeblurGANv2 相比，ABBA 对去模糊的抵抗力更强，且核大小增加时攻击效果仍然保持。
• ABBA_physical 在 AirSim 中对 Inc-v3 显示出高成功率，并在真实世界的手机测试中展现出在运动模糊下的误分类潜力。
• 针对特定区域（对象或全图）进行模糊的攻击表现出不同的成功率，我们的区域感知 ABBA 在转移性和逼真度方面通常优于天真模糊基线。
• 总体而言，ABBA 在转移性和鲁棒性方面优于若干前沿的模糊与叠加攻击，同时产生更自然的对抗性模糊。