[论文解读] Robust Physical-World Attacks on Machine Learning Models.

Ivan Evtimov, Kevin Eykholt+6 more|arXiv (Cornell University)|Jul 27, 2017

Adversarial Robustness in Machine Learning参考文献 10被引用 197

一句话总结

本文提出了一种名为 RP2 的新型攻击算法，可生成在物理世界中具有空间约束的对抗性扰动，模拟涂鸦或艺术创作以逃避检测。在多种物理条件下，RP2 成功欺骗了真实道路标志识别系统，实现 100% 的成功率，包括将停车标志错误分类为限速标志，或将右转标志错误分类为停车标志或增加车道标志。

ABSTRACT

Deep neural network-based classifiers are known to be vulnerable to adversarial examples that can fool them into misclassifying their input through the addition of small-magnitude perturbations. However, recent studies have demonstrated that such adversarial examples are not very effective in the physical world--they either completely fail to cause misclassification or only work in restricted cases where a relatively complex image is perturbed and printed on paper. In this paper we propose a new attack algorithm--Robust Physical Perturbations (RP2)-- that generates perturbations by taking images under different conditions into account. Our algorithm can create spatially-constrained perturbations that mimic vandalism or art to reduce the likelihood of detection by a casual observer. We show that adversarial examples generated by RP2 achieve high success rates under various conditions for real road sign recognition by using an evaluation methodology that captures physical world conditions. We physically realized and evaluated two attacks, one that causes a Stop sign to be misclassified as a Speed Limit sign in 100% of the testing conditions, and one that causes a Right Turn sign to be misclassified as either a Stop or Added Lane sign in 100% of the testing conditions.

研究动机与目标

• 为解决现有对抗性样本在真实物理环境中效果有限的问题，因环境变化导致扰动常失效。
• 开发一种方法，生成对真实世界图像变换（如视角变化、光照变化和打印伪影）具有鲁棒性的对抗性扰动。
• 生成视觉上不显眼的扰动，通过模仿涂鸦或艺术修改，降低被观察者察觉的风险。
• 在真实物理世界条件下评估对抗性样本的鲁棒性，包括多种摄像头角度和环境因素。
• 证明在安全关键应用（如道路标志识别）中，对已部署机器学习模型实施可靠物理世界攻击的可行性。

提出的方法

• RP2 将对抗性攻击建模为一个优化问题，在生成扰动时整合多种真实世界图像变换，如旋转、缩放和模糊。
• 该方法使用可微分渲染管道，模拟在不同摄像头视角和光照条件下的真实图像失真。
• 通过在扰动上施加空间约束，使变化局部化，以模仿真实世界的涂鸦或艺术修改，从而增强隐蔽性。
• 该算法优化在多样化物理条件下的高欺骗率，确保对真实世界变化的鲁棒性。
• 采用多视角评估策略，通过在多种摄像头角度和环境设置下测试，模拟真实世界部署。
• 该方法整合了类似对抗训练的正则化技术，以提升在不同物理扰动和变换下的泛化能力。

实验结果

研究问题

• RQ1 对抗性扰动能否对真实世界中的物理变换（如视角变化、光照变化和打印伪影）具有鲁棒性？
• RQ2 模仿涂鸦或艺术修改的对抗性样本在保持高欺骗率的同时，能否有效规避人类察觉？
• RQ3 单一对抗性扰动能否在多种物理条件和摄像头角度下对真实道路标志实现一致的错误分类？
• RQ4 在真实、多样的环境条件下评估时，物理世界攻击对已部署机器学习模型的成功率如何？
• RQ5 对抗性样本在真实部署场景中，能在多大程度上实现隐蔽性与有效性的兼顾？

主要发现

• RP2 攻击在所有测试的物理条件下，均实现了将停车标志错误分类为限速标志的 100% 成功率。
• 对右转标志的攻击在所有测试条件下均成功导致其被错误分类为停车标志或增加车道标志，成功率同样为 100%。
• RP2 生成的扰动在视觉上与自然涂鸦或艺术修改几乎无法区分，显著降低了被观察者察觉的风险。
• 该方法在多种物理变换下表现出高度鲁棒性，包括视角变化、光照变化和图像模糊。
• 评估方法成功捕捉了真实世界中的变化因素，证实 RP2 在可靠性与泛化能力方面优于先前的物理世界攻击方法。
• 攻击的物理实现验证了，当打印并置于真实世界条件下时，对抗性样本仍保持有效性。