[论文解读] Talk Proposal: Towards the Realistic Evaluation of Evasion Attacks using CARLA

Cory Cornelius, Shang-Tse Chen+2 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Malware Detection Techniques被引用 5

一句话总结

本文提出使用CARLA模拟器在真实场景中评估内容保持型逃避攻击对目标检测器的影响，例如ShapeShifter攻击，该攻击在停车标志和衣物上生成可物理实现的对抗性扰动。该方法实现了在多样化环境条件下对攻击的可扩展、可复现测试，揭示了基于几何和传感器的防御措施（如深度感知）可缓解此类威胁。

ABSTRACT

In this talk we describe our content-preserving attack on object detectors, ShapeShifter, and demonstrate how to evaluate this threat in realistic scenarios. We describe how we use CARLA, a realistic urban driving simulator, to create these scenarios, and how we use ShapeShifter to generate content-preserving attacks against those scenarios.

研究动机与目标

• 为对抗性机器学习研究填补空白，聚焦于真实、内容保持型攻击，而非纯粹不可察觉的扰动。
• 通过利用CARLA模拟器进行真实场景模拟，减少在真实世界中制作、制造和测试对抗性样本的迭代周期。
• 评估类似ShapeShifter的对抗性攻击在真实世界传感约束和环境变化下的有效性。
• 通过在CARLA中模拟多种传感器模态（如深度、LIDAR），探索整体系统级防御策略。
• 评估现有防御措施（如对抗性训练）对可物理实现、几何感知攻击的可扩展性和有效性。

提出的方法

• 利用CARLA模拟器生成包含多样化光照、天气和交通条件的真实城市驾驶场景，用于测试对抗性攻击。
• 采用ShapeShifter攻击框架，在停车标志和T恤上生成内容保持型、可物理实现的扰动，使Faster R-CNN目标检测器产生误判。
• 应用“期望变换”（Expectation over Transformation）技术，在生成过程中建模真实世界的图像失真（如模糊、光照变化），以提升对抗样本的物理鲁棒性。
• 利用CARLA对多种传感器模态（包括RGB相机、深度图和LIDAR）的支持，评估攻击在不同感知处理管道中的成功率。
• 利用CARLA可复现的模拟环境，系统性地测试攻击在不同环境条件和传感器配置下的表现。
• 通过分析深度通道输入对基于像素的对抗性扰动的鲁棒性，研究系统级防御策略。

实验结果

研究问题

• RQ1 当在真实、动态的驾驶模拟中而非静态图像基准上评估时，内容保持型对抗攻击（如ShapeShifter）是否仍有效？
• RQ2 真实世界的图像变换（如模糊、光照变化）如何影响对抗性扰动的物理可实现性和成功率？
• RQ3 深度感知或其他多模态传感器数据在多大程度上可作为自动驾驶感知系统中对抗基于像素攻击的防御手段？
• RQ4 CARLA能否高效且可复现地评估对抗性攻击和防御在多样化环境条件下的鲁棒性？
• RQ5 现有防御措施（如对抗性训练）在应对结合外观与几何扰动的复杂、可物理实现的攻击时，是否具备良好的可扩展性？

主要发现

• ShapeShifter攻击在CARLA模拟中成功误导Faster R-CNN检测器，表明内容保持型对抗性扰动在真实环境中依然有效。
• 期望变换方法显著提升了生成对抗样本的物理鲁棒性，减少了对大量真实世界迭代的依赖。
• CARLA能够快速、可复现地评估对抗性攻击在多样化环境条件下的表现，加速了研究与验证周期。
• CARLA中的深度通道对基于像素的攻击显示出防御潜力，因为几何一致性有助于检测或缓解不影响形状的扰动。
• 现有防御措施（如对抗性训练）可能无法有效应对ShapeShifter类攻击，后者结合了外观与几何扰动。
• 考虑传感器模态和物理约束（如深度感知）的系统级防御策略，相比仅针对模型的防御，提供了更全面且更具前景的解决方案。