[论文解读] Robust Physical Hard-Label Attacks on Deep Learning Visual Classification

Ryan Feng, Jiefeng Chen+3 more|arXiv (Cornell University)|Feb 17, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 5

一句话总结

GRAPHITE 是首个针对深度学习视觉分类器的鲁棒物理硬标签攻击算法，通过使用 survivability（生存度）——一种物理鲁棒性的平滑代理——来优化小而有效的贴纸，采用无梯度优化方法。在仅通过查询访问的情况下，其实验在真实世界中实现了 95.7% 的误分类率，将停车标志错误识别为 30 公里/小时限速标志，以及在 ALPR 系统上达到 75% 的错误率。

ABSTRACT

The physical, black-box hard-label setting is arguably the most realistic threat model for cyber-physical vision systems. In this setting, the attacker only has query access to the model and only receives the top-1 class label without confidence information. Creating small physical stickers that are robust to environmental variation is difficult in the discrete and discontinuous hard-label space because the attack must both design a small shape to perturb within and find robust noise to fill it with. Unfortunately, we find that existing $\ell_2$ or $\ell_\infty$ minimizing hard-label attacks do not easily extend to finding such robust physical perturbation attacks. Thus, we propose GRAPHITE, the first algorithm for hard-label physical attacks on computer vision models. We show that survivability, an estimate of physical variation robustness, can be used in new ways to generate small masks and is a sufficiently smooth function to optimize with gradient-free optimization. We use GRAPHITE to attack a traffic sign classifier and a publicly-available Automatic License Plate Recognition (ALPR) tool using only query access. We evaluate both tools in real-world field tests to measure its physical-world robustness. We successfully cause a Stop sign to be misclassified as a Speed Limit 30 km/hr sign in 95.7% of physical images and cause errors in 75% of physical images for the ALPR tool.

研究动机与目标

• 解决在仅能访问最高置信度类别标签的硬标签、黑盒设置下，生成物理上鲁棒且微小扰动的挑战。
• 开发一种方法，可生成在光照、角度和距离等环境变化下仍能保持有效的物理贴纸。
• 克服现有基于 ℓ₂ 或 ℓ∞ 范数的硬标签攻击的局限性，这些方法无法泛化到物理世界中的鲁棒性。
• 评估物理攻击在实际部署的视觉系统（如交通标志分类器和 ALPR 工具）上的真实世界有效性。

提出的方法

• 引入 survivability 作为物理鲁棒性的可微分、平滑代理，使在离散硬标签空间中实现优化成为可能。
• 使用无梯度优化方法搜索能最大化在环境变化下误分类率的小型、有效贴纸形状和噪声图案。
• 利用对目标模型的查询访问，迭代优化贴纸设计，而无需依赖模型架构或梯度信息。
• 设计小型、离散的掩码，以在多种物理条件下诱导误分类。
• 通过在不同环境条件下对交通标志和车牌实际部署贴纸，实现方法在真实世界中的应用。

实验结果

研究问题

• RQ1 survivability 是否可作为硬标签攻击优化中物理鲁棒性的平滑、可微分代理？
• RQ2 无梯度优化能否有效生成小型、鲁棒的物理贴纸，以在真实世界中误导深度学习模型？
• RQ3 硬标签物理攻击在真实世界视觉系统（如交通标志分类器和 ALPR 工具）上的有效性如何？
• RQ4 此类攻击在环境变化下的真实世界成功率是多少？

主要发现

• GRAPHITE 在 95.7% 的真实世界物理图像中成功将停车标志误分类为 30 公里/小时限速标志。
• 在公开可用的自动车牌识别（ALPR）工具上测试时，该攻击在 75% 的物理图像中引发了错误。
• survivability 被证明是足够平滑的函数，可在硬标签、离散空间中有效支持无梯度优化。
• 该方法在真实世界部署中表现出对光照、角度和距离等环境变化的鲁棒性。
• 发现基于 ℓ₂ 和 ℓ∞ 范数的现有硬标签攻击不足以生成物理鲁棒的扰动，凸显了开发新型优化策略的必要性。