[论文解读] On the Adversarial Robustness of Camera-based 3D Object Detection

Shaoyuan Xie, Zichao Li+2 more|arXiv (Cornell University)|Jan 25, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文首次对基于摄像头的3D目标检测中的对抗鲁棒性进行了全面研究，评估了在白盒和黑盒攻击下使用基于像素和基于补丁的扰动的最先进模型。研究发现，鸟瞰图（BEV）模型对定位攻击更具鲁棒性，无深度估计方法表现出更强的抗干扰能力，多帧时序输入能显著减轻对抗性影响。

ABSTRACT

In recent years, camera-based 3D object detection has gained widespread attention for its ability to achieve high performance with low computational cost. However, the robustness of these methods to adversarial attacks has not been thoroughly examined, especially when considering their deployment in safety-critical domains like autonomous driving. In this study, we conduct the first comprehensive investigation of the robustness of leading camera-based 3D object detection approaches under various adversarial conditions. We systematically analyze the resilience of these models under two attack settings: white-box and black-box; focusing on two primary objectives: classification and localization. Additionally, we delve into two types of adversarial attack techniques: pixel-based and patch-based. Our experiments yield four interesting findings: (a) bird's-eye-view-based representations exhibit stronger robustness against localization attacks; (b) depth-estimation-free approaches have the potential to show stronger robustness; (c) accurate depth estimation effectively improves robustness for depth-estimation-based methods; (d) incorporating multi-frame benign inputs can effectively mitigate adversarial attacks. We hope our findings can steer the development of future camera-based object detection models with enhanced adversarial robustness.

研究动机与目标

• 系统评估领先基于摄像头的3D目标检测模型在多样化攻击设置下的对抗鲁棒性。
• 探究在干净基准上表现优异的模型是否在对抗条件下也表现出强鲁棒性。
• 识别能够增强对分类攻击和定位攻击鲁棒性的网络架构与训练策略。
• 探讨深度估计、时序建模和数据采样策略对对抗鲁棒性的影响。

提出的方法

• 使用PGD-Adv、FGSM、C&W和AutoPGD对基于像素的扰动实施白盒和黑盒攻击。
• 应用梯度优化和通用补丁攻击，评估在可见对抗模式下的迁移性和鲁棒性。
• 在KITTI、nuScenes和Waymo Open Dataset等标准基准上，在干净和对抗性条件下评估模型性能。
• 通过对抗性NDS（nuScenes检测分数）和良性输入与对抗性输入之间的BEV特征误差来衡量鲁棒性。
• 研究深度监督、主干网络架构（ResNet、VoVNet、Swin-Transformer）以及CBGS等训练策略对对抗鲁棒性的影响。
• 通过比较单帧攻击与跨多帧的连续攻击，分析时序鲁棒性，使用BEVDepth4D和BEVDet4D模型。

实验结果

研究问题

• RQ1 最先进基于摄像头的3D检测器在白盒和黑盒对抗攻击下是否表现出强鲁棒性？
• RQ2 表示方式的选择（如BEV与透视图）如何影响对定位攻击与分类攻击的鲁棒性？
• RQ3 精确的深度估计在基于深度估计的模型中在多大程度上能提升对抗鲁棒性？
• RQ4 多帧时序建模能否减轻对抗扰动在3D检测中的影响？
• RQ5 为长尾分布检测设计的训练策略（如类别平衡分组采样）是否也能提升对抗鲁棒性？

主要发现

• 尽管在干净数据上表现相似，基于BEV的模型在定位攻击下表现出比分类攻击更强的鲁棒性。
• 无深度估计方法表现出更高的内在鲁棒性，表明消除深度估计可减少关键脆弱面。
• 在训练中引入显式深度监督可显著提升基于深度估计模型的鲁棒性，精确的深度估计可作为鲁棒性增强器。
• 在时序模型中引入多帧良性输入可将对抗影响降低25–30%，其中BEVDet4D相比单帧攻击将BEV特征误差降低了27%。
• 增大主干网络规模可一致提升对抗鲁棒性，尤其对初始鲁棒性较弱的模型更为显著，如Swin-Tiny与更大变体之间的性能差距所示。
• 使用类别平衡分组采样（CBGS）训练使DETR3D的对抗性NDS提升了约11%，表明长尾分布缓解策略可增强鲁棒性。