[论文解读] TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems

Ka Ho Chow, Ling Liu+4 more|arXiv (Cornell University)|Apr 9, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用 13

一句话总结

本文提出 TOG，一类针对实时目标检测系统中对象存在度梯度的靶向对抗攻击，可引发对象消失、伪造对象及对象误标。通过利用对抗迁移性，TOG 实现了极低在线成本、人类难以察觉的高效黑盒攻击，在 PASCAL VOC 和 MS COCO 基准测试中揭示了边缘部署的深度神经网络检测器的严重漏洞。

ABSTRACT

The rapid growth of real-time huge data capturing has pushed the deep learning and data analytic computing to the edge systems. Real-time object recognition on the edge is one of the representative deep neural network (DNN) powered edge systems for real-world mission-critical applications, such as autonomous driving and augmented reality. While DNN powered object detection edge systems celebrate many life-enriching opportunities, they also open doors for misuse and abuse. This paper presents three Targeted adversarial Objectness Gradient attacks, coined as TOG, which can cause the state-of-the-art deep object detection networks to suffer from object-vanishing, object-fabrication, and object-mislabeling attacks. We also present a universal objectness gradient attack to use adversarial transferability for black-box attacks, which is effective on any inputs with negligible attack time cost, low human perceptibility, and particularly detrimental to object detection edge systems. We report our experimental measurements using two benchmark datasets (PASCAL VOC and MS COCO) on two state-of-the-art detection algorithms (YOLO and SSD). The results demonstrate serious adversarial vulnerabilities and the compelling need for developing robust object detection systems.

研究动机与目标

• 识别并利用部署在边缘设备上的实时深度目标检测系统中的关键对抗性漏洞。
• 开发可操控对象存在度语义的靶向攻击，使对象消失、被伪造或被误标，同时保持人类不可察觉。
• 设计一种通用对抗扰动方法，实现近乎零在线成本的高效黑盒攻击。
• 评估 TOG 攻击在多种最先进检测器（YOLO、SSD）和数据集（PASCAL VOC、MS COCO）之间的迁移能力。
• 证明在关键任务边缘 AI 应用中，亟需采用鲁棒的集成防御机制。

提出的方法

• 基于目标检测器特征空间中的对象存在度梯度，通过优化对抗扰动，提出三种靶向对抗攻击——TOG-消失、TOG-伪造和 TOG-误标。
• 采用基于梯度的优化方法，向输入图像注入最小、人类难以察觉的扰动，以改变对象存在度预测，同时保持视觉保真度。
• 提出一种通用对抗扰动算法，生成对所有输入均有效的单一扰动，离线训练后用于黑盒部署。
• 利用对抗迁移性，实现在无模型访问条件下对未见受害模型的攻击，使用在一种检测器上训练的扰动欺骗其他检测器。
• 以 YOLOv3 和 SSD 为主要受害模型，基于 PASCAL VOC 和 MS COCO 数据集评估攻击的有效性与迁移能力。
• 采用基于梯度的损失函数，在扰动优化过程中针对特定对象存在度语义（如消失时置信度为零，伪造时置信度高）进行优化。

实验结果

研究问题

• RQ1 能否设计出针对实时目标检测器中对象存在度语义的靶向对抗攻击，例如引发对象消失或伪造？
• RQ2 通用对抗扰动在实现对多种目标检测模型的低在线成本黑盒攻击方面有多高效？
• RQ3 TOG 攻击在不同目标检测架构（如 YOLOv3、SSD）和数据集（PASCAL VOC、MS COCO）之间的迁移程度如何？
• RQ4 攻击成功率在不同对象存在度语义（消失、伪造、误标）和检测器变体之间有何差异？
• RQ5 能否可靠地利用迁移性，在不了解受害模型架构或权重的情况下发动有效攻击？

主要发现

• TOG 攻击在 PASCAL VOC 和 MS COCO 数据集上的 YOLOv3 和 SSD 模型中，成功引发人类难以察觉的扰动下对象消失、伪造和误标。
• 通用 TOG 攻击实现近乎零在线成本，并通过迁移性有效欺骗多个受害检测器（如 SSD512、YOLOv3-D、YOLOv3-M），即使无受害模型访问权限。
• TOG 攻击的迁移性表现差异显著：TOG-通用和 TOG-误标（LL）在 SSD512 和 YOLOv3 变体上表现出强迁移性，而 TOG-误标（ML）和 TOG-伪造表现出部分或不一致的迁移性。
• TOG-消失攻击对 SSD512 实现完美迁移，导致检测输出中完全缺失对象，表明在黑盒环境下具有极高可利用性。
• TOG-伪造攻击在各类检测器中均产生大量误报，且在不同架构上仍保持较高的虚假对象数量。
• 实验结果证实，实时目标检测器中的对抗性漏洞严重且持久，尤其在可迁移的通用扰动下，凸显了对鲁棒防御机制的迫切需求。