[论文解读] Physical Adversarial Attacks on an Aerial Imagery Object Detector

Andrew Du, Bo Chen+5 more|arXiv (Cornell University)|Aug 26, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文展示了使用打印的对抗性补丁在航拍图像中对空中目标检测器实施的首批真实世界物理对抗攻击之一。作者证明，即使在存在大气和距离相关挑战的情况下，通过在车辆周围应用优化图案的车外补丁（off-car patches），也能显著降低目标检测的置信度（对象性分数降至28.8%）。

ABSTRACT

Deep neural networks (DNNs) have become essential for processing the vast amounts of aerial imagery collected using earth-observing satellite platforms. However, DNNs are vulnerable towards adversarial examples, and it is expected that this weakness also plagues DNNs for aerial imagery. In this work, we demonstrate one of the first efforts on physical adversarial attacks on aerial imagery, whereby adversarial patches were optimised, fabricated and installed on or near target objects (cars) to significantly reduce the efficacy of an object detector applied on overhead images. Physical adversarial attacks on aerial images, particularly those captured from satellite platforms, are challenged by atmospheric factors (lighting, weather, seasons) and the distance between the observer and target. To investigate the effects of these challenges, we devised novel experiments and metrics to evaluate the efficacy of physical adversarial attacks against object detectors in aerial scenes. Our results indicate the palpable threat posed by physical adversarial attacks towards DNNs for processing satellite imagery.

研究动机与目标

• 研究在航拍图像中，特别是从卫星平台出发，针对基于深度学习的目标检测器实施物理对抗攻击的可行性和有效性。
• 解决航拍场景中物理攻击所面临的独特挑战，包括大气条件（光照、天气、季节）、观测者与目标之间的长距离，以及真实世界图像采集的限制。
• 开发并评估一种新型对抗性补丁设计，无需修改目标物体（如汽车），从而实现无需改装车辆的实用部署。
• 设计可扩展的实验协议和严格的评估指标，用于在多种环境条件下评估物理攻击的有效性。
• 评估在补丁优化过程中使用数据增强（如天气影响）对真实世界性能的影响，挑战数字领域评估中的既有假设。

提出的方法

• 在数字领域中，使用目标攻击目标，优化对抗性补丁以最小化基于YOLOv3的汽车检测器在航拍图像中的对象性分数。
• 提出一种新型的“车外”（off-car）补丁设计，通过在目标车辆周围布置优化的强度图案，实现在不修改汽车的情况下部署。
• 在训练过程中应用数据增强，以模拟真实世界的大气条件，包括光照变化、天气影响（雨、雪）和季节变化。
• 将优化后的补丁打印在160 gsm覆膜纸上，并使用无人机和高楼阳台拍摄真实世界的航拍图像，以模拟卫星级别的视角。
• 采用新指标评估攻击性能：平均对象性分数降低率（OSR）和归一化检测率（NDR），在多种环境设置下计算。
• 通过消融研究比较不同训练策略（如是否包含天气增强）和补丁类型（车内补丁与车外补丁）下的补丁性能。

实验结果

研究问题

• RQ1 物理对抗补丁是否能在真实世界航拍图像中成功部署，以降低目标检测器的性能？
• RQ2 大气变化性（光照、天气、季节）如何影响物理对抗攻击在空中目标检测器上的真实世界有效性？
• RQ3 在对抗补丁训练中加入模拟天气和光照条件的增强，是否能提升真实世界测试中的鲁棒性？
• RQ4 在真实世界航拍攻击场景中，“车外”补丁设计（应用于车辆附近的地面）是否比车内补丁更具实用性和有效性？
• RQ5 不同环境因素（如运动、光照、天气）如何影响航拍图像中对抗补丁的可检测性和有效性？

主要发现

• 物理对抗补丁显著降低了目标检测性能，真实测试中对象性分数从超过0.9降至最低0.288。
• 车外补丁设计在侧街场景中的一辆汽车上实现了85%的平均对象性分数降低率（从0.914降至0.288），证明了其高度实用性。
• 在真实测试中，车内补丁（Type ON）比车外补丁（Type OFF）更有效，与数字领域结果相反，表明存在领域偏移挑战。
• 在补丁训练中加入天气影响（G/C+W）并未提升真实世界性能，反而不如仅使用干净数据训练（G/C）的效果，表明天气增强可能对本任务无益。
• 攻击效果在不同汽车颜色和光照条件下差异显著：蓝色汽车的攻击效果最佳（平均OSR = 0.208），而白色汽车在静态晴天条件下受影响最小（平均OSR = 0.748）。
• 归一化检测率（NDR）指标证实，攻击在较低对象性阈值下最有效，最成功的攻击中NDR降至0.3以下。