[论文解读] PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving

Zelun Kong, Junfeng Guo+2 more|arXiv (Cornell University)|Jul 9, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用 4

一句话总结

PhysGAN 是一种基于 GAN 的框架，通过利用多帧视频输入，生成可物理打印且在视觉上与原始样本无法区分的对抗性样本，持续误导自动驾驶系统的转向模型。在真实世界测试中，其平均转向角度误差最高可达 19.17 度，优于最先进的数字和物理世界基线方法。

ABSTRACT

Although Deep neural networks (DNNs) are being pervasively used in vision-based autonomous driving systems, they are found vulnerable to adversarial attacks where small-magnitude perturbations into the inputs during test time cause dramatic changes to the outputs. While most of the recent attack methods target at digital-world adversarial scenarios, it is unclear how they perform in the physical world, and more importantly, the generated perturbations under such methods would cover a whole driving scene including those fixed background imagery such as the sky, making them inapplicable to physical world implementation. We present PhysGAN, which generates physical-world-resilient adversarial examples for mislead-ing autonomous driving systems in a continuous manner. We show the effectiveness and robustness of PhysGAN via extensive digital and real-world evaluations. Digital experiments show that PhysGAN is effective for various steer-ing models and scenes, which misleads the average steer-ing angle by up to 23.06 degrees under various scenarios. The real-world studies further demonstrate that PhysGAN is sufficiently resilient in practice, which misleads the average steering angle by up to 19.17 degrees. We compare PhysGAN with a set of state-of-the-art baseline methods including several of our self-designed ones, which further demonstrate the robustness and efficacy of our approach. We also show that PhysGAN outperforms state-of-the-art baseline methods To the best of our knowledge, PhysGANis probably the first technique of generating realistic and physical-world-resilient adversarial examples for attacking common autonomous driving scenarios.

研究动机与目标

• 为解决生成可物理部署、视觉逼真且能抵御真实世界动态变化（如视角和光照变化）的对抗性样本的空白。
• 克服现有数字对抗攻击方法的局限性，这些方法会扰动整个场景（包括天空等固定背景），导致无法在物理世界中部署。
• 开发一种单一、可打印的对抗性样本，使其在整个连续驾驶轨迹中持续误导基于回归的转向模型。
• 确保对抗性样本在真实世界摄像头捕捉条件下，与原始路标在视觉上无法区分。
• 在数字仿真和真实世界物理部署中评估攻击的有效性，证明其鲁棒性和对自动驾驶车辆的实际危害。

提出的方法

• PhysGAN 采用具有 3D 张量输入的 GAN 架构，以建模多帧视频中的时间动态，增强对物理世界变化（如距离和角度变化）的鲁棒性。
• 生成器通过目标转向模型的编码器（基于 CNN 的特征提取器）提取的特征进行条件控制，确保生成的对抗性样本与模型的内部表征一致。
• 该框架使用判别器来强制实现真实感和物理世界一致性，确保对抗性标志在摄像头捕捉下看起来自然。
• 训练过程通过感知损失和对抗性损失函数，同时优化攻击成功率（误导转向预测）和视觉保真度。
• 该方法生成单一、固定的对抗性打印输出，可在驾驶序列的所有帧中保持有效性，避免逐帧扰动。
• 通过在生成过程中模拟摄像头效应（如模糊、光照）来整合物理世界约束，确保真实世界的可部署性。

实验结果

研究问题

• RQ1 能否生成一种单一、可物理打印的对抗性样本，使其在多个视频帧中持续误导基于回归的自动驾驶转向模型？
• RQ2 在仿真和真实世界环境中，PhysGAN 的攻击有效性与最先进的数字和物理世界对抗攻击方法相比如何？
• RQ3 PhysGAN 在保持高攻击成功率的同时，能在多大程度上维持视觉真实感，以应对真实世界驾驶条件？
• RQ4 与单帧或仅数字的攻击方法相比，使用 3D 视频输入是否显著提升了鲁棒性？
• RQ5 当在实际自动驾驶车辆上部署时，PhysGAN 生成的对抗性样本是否会导致危险的真实世界驾驶行为？

主要发现

• 在各种转向模型和场景的数字世界评估中，PhysGAN 实现了最高达 21.85 度的平均转向角度误差。
• 在真实世界的物理世界评估中，PhysGAN 导致最高达 19.17 度的平均转向角度误差，展现出强大的鲁棒性和实际攻击有效性。
• 在线驾驶案例研究显示，只有 PhysGAN 生成的对抗性标志导致车辆偏离车道并驶向路边护栏，耗时 10 秒以 5 英里/小时的速度抵达护栏。
• PhysGAN 显著优于基线方法，包括 PhysFGSM、随机噪声和原始标志，后者对转向行为的影响可忽略不计。
• 随着帧索引增加，转向角度误差增大，表明对抗性标志在画面中占据更大区域时，其误导效果更强。
• 该框架成功生成了单一、在视觉上无法区分的对抗性打印输出，且在连续驾驶帧中保持了攻击有效性，证明了其在物理世界中的鲁棒性。