[论文解读] Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking

Hongjun Wang, Guangrun Wang+3 more|arXiv (Cornell University)|Apr 8, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 4

一句话总结

该论文提出了一种可迁移、可控制且不易察觉的对抗性攻击框架，用于行人重识别（ReID）系统，采用深度误排序公式。通过利用多阶段特征金字塔网络实现可迁移的表征学习，以及通过可微多 shot 采样实现像素级控制，该方法在 Market1501 上使 ReID 准确率从 91.8% 下降至 1.4%，表明最先进模型存在严重漏洞。

ABSTRACT

The success of DNNs has driven the extensive applications of person re-identification (ReID) into a new era. However, whether ReID inherits the vulnerability of DNNs remains unexplored. To examine the robustness of ReID systems is rather important because the insecurity of ReID systems may cause severe losses, e.g., the criminals may use the adversarial perturbations to cheat the CCTV systems. In this work, we examine the insecurity of current best-performing ReID models by proposing a learning-to-mis-rank formulation to perturb the ranking of the system output. As the cross-dataset transferability is crucial in the ReID domain, we also perform a back-box attack by developing a novel multi-stage network architecture that pyramids the features of different levels to extract general and transferable features for the adversarial perturbations. Our method can control the number of malicious pixels by using differentiable multi-shot sampling. To guarantee the inconspicuousness of the attack, we also propose a new perception loss to achieve better visual quality. Extensive experiments on four of the largest ReID benchmarks (i.e., Market1501 [45], CUHK03 [18], DukeMTMC [33], and MSMT17 [40]) not only show the effectiveness of our method, but also provides directions of the future improvement in the robustness of ReID systems. For example, the accuracy of one of the best-performing ReID systems drops sharply from 91.8% to 1.4% after being attacked by our method. Some attack results are shown in Fig. 1. The code is available at https://github.com/whj363636/Adversarial-attack-on-Person-ReID-With-Deep-Mis-Ranking.

研究动机与目标

• 探究最先进 ReID 模型在真实监控场景下对对抗性攻击的脆弱性。
• 解决现有方法多针对分类任务而缺乏针对基于排序的 ReID 系统的有效对抗性攻击方法的问题。
• 开发一种黑盒攻击方法，具备强大的跨数据集迁移能力，可在无目标模型访问的情况下攻击未见过的数据集。
• 通过设计新型损失函数，控制扰动像素数量并提升感知质量，确保视觉上不易察觉。
• 通过对抗性训练和关注易受攻击的身体部位，为提升 ReID 模型鲁棒性提供可操作的见解。

提出的方法

• 提出一种学习误排序的公式，直接针对 ReID 模型的排序输出进行攻击，使用误排序损失以降低模型将正确匹配排在更高位置的能力。
• 引入一种多阶段网络架构，通过金字塔融合多层级特征，提取用于对抗性扰动的一般性、可迁移表征。
• 采用可微多 shot 采样方法控制受攻击像素数量，实现对攻击可见性和影响程度的细粒度控制。
• 设计一种基于感知的损失函数，以保持视觉质量，确保对抗性扰动对人类观察者不易察觉。
• 通过结合误排序损失、感知损失和对抗性一致性损失的联合损失函数，端到端训练攻击者，并对超参数进行调优以保证视觉保真度。

实验结果

研究问题

• RQ1 能否通过操纵图库图像的排序而非错误分类，有效降低最先进 ReID 模型的性能？
• RQ2 如何使对抗性攻击在不同 ReID 数据集之间具备可迁移性，尤其是在无目标模型访问的黑盒设置下？
• RQ3 在保持高攻击成功率和低视觉失真的前提下，对扰动像素数量的控制程度如何？
• RQ4 所提出的攻击是否能在造成 ReID 系统灾难性失效的同时仍保持视觉上的不易察觉？
• RQ5 该攻击是否能泛化到真实世界的人工智能服务中，例如商业 ReID 或属性识别 API？

主要发现

• 所提攻击方法使最先进模型（AlignedReID）在 Market1501 上的 ReID 准确率从 91.8% 降至 1.4%，表明其存在极端脆弱性。
• 该攻击具备强大的跨数据集迁移能力，在四个主要基准测试（Market1501、CUHK03、DukeMTMC 和 MSMT17）上均成功降低性能。
• 可微多 shot 采样机制实现了对扰动像素数量的精确控制，即使在低攻击强度下也能保持良好的视觉质量。
• 感知损失显著提升了对抗性样本的视觉质量，使其对人类观察者更难被察觉。
• 该攻击成功欺骗了真实世界商业 API（百度的人体检测与属性识别 API），将携带背包的行人错误分类为未携带。
• 该方法不仅适用于 ReID，还泛化至图像分类模型，在 CIFAR10 上的攻击效果优于多种最先进白盒攻击方法。