[论文解读] Untargeted Backdoor Attack against Object Detection

Chengxiao Luo, Yiming Li+2 more|arXiv (Cornell University)|Nov 2, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出一种隐蔽的、仅通过数据中毒的无目标后门攻击，针对目标检测模型。该攻击在注入触发模式后移除目标的边界框，可在数字和物理环境中实现高攻击效果，同时对常见防御手段具有抵抗力。该攻击导致模型在含有触发模式的目标上失效检测，而在良性样本上保持正常性能。

ABSTRACT

Recent studies revealed that deep neural networks (DNNs) are exposed to backdoor threats when training with third-party resources (such as training samples or backbones). The backdoored model has promising performance in predicting benign samples, whereas its predictions can be maliciously manipulated by adversaries based on activating its backdoors with pre-defined trigger patterns. Currently, most of the existing backdoor attacks were conducted on the image classification under the targeted manner. In this paper, we reveal that these threats could also happen in object detection, posing threatening risks to many mission-critical applications ($e.g.$, pedestrian detection and intelligent surveillance systems). Specifically, we design a simple yet effective poison-only backdoor attack in an untargeted manner, based on task characteristics. We show that, once the backdoor is embedded into the target model by our attack, it can trick the model to lose detection of any object stamped with our trigger patterns. We conduct extensive experiments on the benchmark dataset, showing its effectiveness in both digital and physical-world settings and its resistance to potential defenses.

研究动机与目标

• 揭示目标检测模型在使用第三方或不可信数据进行训练时，对后门攻击的脆弱性。
• 设计一种仅通过数据中毒的无目标后门攻击，以规避对特定触发模式标记目标的检测。
• 通过在良性样本上保持模型准确率，仅在中毒样本上降低性能，确保攻击的隐蔽性。
• 在数字和现实世界场景中评估攻击的有效性，包括使用打印触发模式的实际部署。
• 测试攻击对常见后门防御技术（如微调和模型剪枝）的抵抗能力。

提出的方法

• 在训练图像中随机选择的目标中心位置注入预定义的触发模式。
• 触发注入后，通过将边界框的宽度和高度设为零，移除这些目标的标注框。
• 这在模型中创建了一种潜在后门，使模型学习忽略包含触发模式的目标，而无需修改模型架构或损失函数。
• 使用中毒训练集重新训练受害者检测器，同时保持对良性数据的性能。
• 在推理阶段，触发激活后门，导致模型无法检测目标。
• 该方法在数字（直接修改图像）和物理（打印触发贴纸）两种设置下进行评估。

Fig. 1 : The main pipeline of our poison-only untargeted backdoor attack against object detection. Our method consists of three main stages. In the first stage, we generate some poisoned training samples by adding trigger patterns to randomly selected benign samples and reassigning the width and hei

实验结果

研究问题

• RQ1 是否可以仅通过数据中毒，在不访问模型架构或训练过程的情况下，有效对目标检测模型实施后门攻击？
• RQ2 该攻击在数字和现实世界部署场景中的有效性如何？
• RQ3 该攻击在多大程度上保持隐蔽性，即在良性样本上保持高准确率，同时在中毒样本上显著降低性能？
• RQ4 该攻击对标准后门防御技术（如微调和模型剪枝）的抵抗能力如何？
• RQ5 触发模式的选择是否显著影响攻击的成功率？

主要发现

• 在所有评估的模型中，中毒数据集的mAP降至11%以下，而良性数据集的mAP与原始模型相比仅下降1%-2%。
• 即使模型在中毒测试集上的性能保持稳定，中毒数据集的AP50仍下降超过30%。
• 该攻击在现实世界设置中依然有效，模型无法检测通过智能手机摄像头拍摄的带有打印触发贴纸的目标。
• 不同触发模式（如方形、十字形、圆形、星形）的攻击成功率相似，表明对触发设计具有鲁棒性。
• 该攻击对微调具有抵抗力：即使在10%良性样本上进行微调后，中毒mAP仍低于15%。
• 模型剪枝进一步降低了中毒mAP，表明该攻击不仅具有抵抗力，甚至可能被剪枝防御放大。

Fig. 2 : The detection results of the Sparse R-CNN model under our attack in the digital space. In these examples, the trigger patterns are added by pixel-wise replacement of objects ( $i.e.$ , ‘person’ and ‘stop sign’) in the digital space.