[论文解读] Rogue Signs: Deceiving Traffic Sign Recognition with Malicious Ads and Logos

Chawin Sitawarin, Arjun Nitin Bhagoji+3 more|arXiv (Cornell University)|Jan 8, 2018

Adversarial Robustness in Machine Learning被引用 29

一句话总结

本文提出Sign Embedding攻击，一种新颖的物理世界对抗攻击方法，可将良性徽标和广告转化为恶意交通标志，在自动驾驶（AV）系统中实现超过95%的成功率误分类。通过在生成过程中优化对真实世界图像变换的鲁棒性，该方法生成高置信度的对抗样本，可在虚拟和物理环境中均成功规避检测并欺骗AV感知系统。

ABSTRACT

We propose a new real-world attack against the computer vision based systems of autonomous vehicles (AVs). Our novel Sign Embedding attack exploits the concept of adversarial examples to modify innocuous signs and advertisements in the environment such that they are classified as the adversary's desired traffic sign with high confidence. Our attack greatly expands the scope of the threat posed to AVs since adversaries are no longer restricted to just modifying existing traffic signs as in previous work. Our attack pipeline generates adversarial samples which are robust to the environmental conditions and noisy image transformations present in the physical world. We ensure this by including a variety of possible image transformations in the optimization problem used to generate adversarial samples. We verify the robustness of the adversarial samples by printing them out and carrying out drive-by tests simulating the conditions under which image capture would occur in a real-world scenario. We experimented with physical attack samples for different distances, lighting conditions and camera angles. In addition, extensive evaluations were carried out in the virtual setting for a variety of image transformations. The adversarial samples generated using our method have adversarial success rates in excess of 95% in the physical as well as virtual settings.

研究动机与目标

• 将对抗攻击在自动驾驶车辆上的威胁面从修改现有交通标志扩展至包括无害的标志和广告。
• 开发一种在真实世界图像变换（如光照变化、相机角度和缩放）下仍保持高成功率的物理鲁棒对抗攻击流程。
• 在虚拟仿真和真实世界路测中评估对抗样本的有效性，证明其实际可行性。
• 提出一种可扩展的方法，仅需目标标志的一张图像即可生成定向对抗标志，而无需像以往方法那样进行大量数据采集。
• 揭示AV感知系统对看似无害视觉内容的高置信度误分类的脆弱性。

提出的方法

• 攻击采用白盒威胁模型，可完全访问交通标志识别模型的架构和权重，以生成定向对抗样本。
• 通过损失函数优化对抗扰动，最小化目标标志的分类误差，同时约束扰动幅度以保持视觉不可察觉性。
• 通过在优化过程中引入多样化的图像变换（如亮度、旋转、缩放）来实现对物理世界变换的鲁棒性。
• 通过将扰动嵌入良性徽标或自定义设计的形状与颜色中，生成对抗性标志，使其模仿目标交通标志。
• 该流程包含基于形状的检测器和CNN分类器，用于在虚拟和物理测试环境中验证检测与分类效果。
• 该方法可从任意源图像（包括非交通标志内容）端到端生成对抗样本，且数据需求极低。

实验结果

研究问题

• RQ1 能否将良性、非交通标志的视觉内容（如徽标和广告）转化为对抗样本，使AV系统高置信度地将其误分类为危险交通标志？
• RQ2 通过变换不变性优化生成的对抗样本在真实世界物理条件下（包括光照变化、距离和相机角度）的有效性如何？
• RQ3 与现有对抗攻击方法（如Carlini-Wagner）相比，所提方法在真实世界图像变换下的对比鲁棒性和成功率如何？
• RQ4 该攻击能否在真实世界打印标志上以高可靠性应用？在路测场景中的表现如何？
• RQ5 良性标志在多大程度上无法触发高置信度误分类？对抗方法如何克服此局限性？

主要发现

• 在无测试时随机变换的虚拟环境中，Sign Embedding攻击在GTSRB数据集上实现了99.07%的成功率。
• 即使在随机图像变换下，该攻击在虚拟环境中的成功率仍保持在95.50%，表现出极强的鲁棒性。
• 在真实世界路测中，对抗性交通标志在检测到的帧中正确分类为目标标志的成功率达到95.74%。
• Logo攻击在物理测试中实现了56.60%的成功率，表明尽管效果不如对抗性交通标志，但仍构成显著威胁。
• Custom Sign攻击在物理测试中实现了95.24%的成功率，表明自定义设计的对抗标志可极为有效。
• 所提方法在随机变换下的性能下降率仅为3.6%，而Carlini-Wagner方法为89.75%，表明其在物理部署中具有显著更优的鲁棒性。