[论文解读] UPC: Learning Universal Physical Camouflage Attacks on Object Detectors.

Lifeng Huang, Chengying Gao+5 more|arXiv (Cornell University)|Sep 10, 2019

Adversarial Robustness in Machine Learning被引用 3

一句话总结

本文提出通用物理伪装（Universal Physical Camouflage, UPC），一种生成通用对抗性图案的方法，可在真实环境中对某一类别（如行人、汽车）的所有实例均实现欺骗目标检测器。通过联合攻击区域建议网络、分类头和边界框回归头，并应用可微形变变换与自然性约束，UPC 在虚拟环境（AttackScenes）和真实物理环境中的攻击成功率均表现优异。

ABSTRACT

In this paper, we study physical adversarial attacks on object detectors in the wild. Prior arts on this matter mostly craft instance-dependent perturbations only for rigid and planar objects. To this end, we propose to learn an adversarial pattern to effectively attack all instances belonging to the same object category (e.g., person, car), referred to as Universal Physical Camouflage Attack (UPC). Concretely, UPC crafts camouflage by jointly fooling the region proposal network, as well as misleading the classifier and the regressor to output errors. In order to make UPC effective for articulated non-rigid or non-planar objects, we introduce a set of transformations for the generated camouflage patterns to mimic their deformable properties. We additionally impose optimization constraint to make generated patterns look natural for human observers. To fairly evaluate the effectiveness of different physical-world attacks on object detectors, we present the first standardized virtual database, AttackScenes, which simulates the real 3D world in a controllable and reproducible environment. Extensive experiments suggest the superiority of our proposed UPC compared with existing physical adversarial attackers not only in virtual environments (AttackScenes), but also in real-world physical environments. Codes, models, and demos are publicly available at https://mesunhlf.github.io/index_physical.html.

研究动机与目标

• 解决先前物理对抗攻击方法仅针对特定实例、在非刚性或非平面物体上效果不佳的局限性。
• 开发一种通用对抗性图案，可对野外环境中某一给定物体类别（如所有行人）的所有实例实现攻击。
• 确保生成的图案对人类观察者具有视觉自然性，同时保持高攻击有效性。
• 建立标准化、可复现的基准，用于评估目标检测器上的物理对抗攻击。

提出的方法

• 设计一种通用对抗性图案，可同时欺骗目标检测器中的区域建议网络、分类器和边界框回归器。
• 应用一组可微变换，以模拟关节或非刚性物体（如运动中的行人）的形变特性。
• 引入感知损失与空间正则化，确保生成图案对人类观察者具有自然外观。
• 提出 AttackScenes，一个标准化的虚拟3D环境，用于可控且可复现地评估物理对抗攻击。
• 采用多目标损失函数，端到端优化通用图案，综合考虑攻击成功率与视觉自然性。
• 使用可微渲染流水线，模拟虚拟环境中真实世界的光照、视角与透视变化。

实验结果

研究问题

• RQ1 一个单一的通用对抗性图案是否能在真实物理环境中有效攻击某一类别所有实例？
• RQ2 与实例特定攻击相比，所提方法在非刚性或非平面物体上的表现如何？
• RQ3 引入形变变换在提升关节物体攻击成功率方面有多大改善？
• RQ4 与现有攻击方法相比，该方法在标准化、可复现的虚拟基准中的有效性如何？
• RQ5 生成的图案是否能在虚拟与真实世界环境中同时保持视觉自然性并实现高攻击成功率？

主要发现

• UPC 在 AttackScenes 虚拟基准和真实物理设置中，均显著优于先前的物理对抗攻击方法，攻击成功率更高。
• 引入形变变换显著提升了对非刚性与关节物体（如动态姿势的行人）的攻击成功率。
• 人类评估与感知相似性度量均证实，生成图案具有高度视觉自然性。
• 在泛化能力方面，UPC 优于实例特定攻击，无需重新优化即可成功攻击同一类别的多个实例。
• 标准化的 AttackScenes 基准使物理对抗攻击的评估更加可靠与可复现，促进了不同方法间的公平比较。
• 该方法在虚拟与真实世界部署中，对光照、视角与背景条件变化均表现出强鲁棒性。