[论文解读] Understanding the Robustness of 3D Object Detection with Bird's-Eye-View Representations in Autonomous Driving

Zijian Zhu, Yichi Zhang+6 more|arXiv (Cornell University)|Mar 30, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文系统评估了自动驾驶中依赖视觉的鸟瞰图（BEV）3D目标检测器在自然扰动和对抗性攻击下的鲁棒性，提出了一种新颖的3D一致补丁攻击，以模拟现实的时空对抗性威胁。研究发现，尽管BEV模型由于其丰富的空间特征在自然扰动下表现更鲁棒，但其对对抗性噪声——尤其是冗余BEV特征引起的噪声——的敏感性显著增强，凸显了在实际部署中存在关键的安全隐患。

ABSTRACT

3D object detection is an essential perception task in autonomous driving to understand the environments. The Bird's-Eye-View (BEV) representations have significantly improved the performance of 3D detectors with camera inputs on popular benchmarks. However, there still lacks a systematic understanding of the robustness of these vision-dependent BEV models, which is closely related to the safety of autonomous driving systems. In this paper, we evaluate the natural and adversarial robustness of various representative models under extensive settings, to fully understand their behaviors influenced by explicit BEV features compared with those without BEV. In addition to the classic settings, we propose a 3D consistent patch attack by applying adversarial patches in the 3D space to guarantee the spatiotemporal consistency, which is more realistic for the scenario of autonomous driving. With substantial experiments, we draw several findings: 1) BEV models tend to be more stable than previous methods under different natural conditions and common corruptions due to the expressive spatial representations; 2) BEV models are more vulnerable to adversarial noises, mainly caused by the redundant BEV features; 3) Camera-LiDAR fusion models have superior performance under different settings with multi-modal inputs, but BEV fusion model is still vulnerable to adversarial noises of both point cloud and image. These findings alert the safety issue in the applications of BEV detectors and could facilitate the development of more robust models.

研究动机与目标

• 系统评估依赖视觉的BEV模型在自动驾驶3D目标检测中的自然与对抗性鲁棒性。
• 研究显式BEV表示如何影响模型在图像畸变、天气变化和部分相机遮挡等自然干扰下的稳定性。
• 开发并应用一种新颖的3D一致补丁攻击，确保跨相机和帧的时空对齐，以模拟现实的对抗性威胁。
• 在多种攻击设置下（包括全局扰动和通用补丁）比较仅相机、相机-LiDAR融合以及BEV专用模型的鲁棒性。
• 通过架构与训练优化，为提升BEV基检测器的安全性与可靠性提供可操作的见解。

提出的方法

• 提出一种3D一致补丁攻击，将对抗性补丁应用于场景中的3D物体，并在多个相机视图和连续视频帧中保持一致的投影。
• 采用可微分投影流程，确保相邻相机间补丁的空间对齐以及视频序列中帧间的时序一致性。
• 采用通用攻击范式，优化单个补丁以作用于某一类别中的多个物体或一连串帧，强制实现时序通用性。
• 在多种设置下评估鲁棒性：常见畸变、天气/光照变化、相机缺失，以及各类对抗攻击（包括ℓp扰动和实例/类别特定补丁）。
• 在仅图像和多模态（相机+LiDAR）设置下，对比7种代表性模型：BEVDet、BEVDepth、DETR3D、BEVFormer、TransFusion和BEVFusion。
• 分析BEVFormer中的特征激活模式，识别出与BEV表示中冗余空间特征相关的对抗性脆弱性根源。

实验结果

研究问题

• RQ1 视觉依赖的BEV模型在图像噪声、天气变化和部分相机遮挡等自然畸变下表现如何？
• RQ2 与非BEV模型相比，BEV模型在ℓp扰动和对抗性补丁攻击下有多脆弱？
• RQ3 在融合模型中引入LiDAR数据后，其在自然与对抗性条件下的鲁棒性如何变化？
• RQ4 能否通过保持跨相机和帧的空间与时间一致性的3D一致补丁攻击，实现高于标准2D补丁攻击的攻击成功率？
• RQ5 BEV模型中使用Transformer（如BEVFormer）是否因时序特征依赖性而增强对通用对抗性扰动的鲁棒性？

主要发现

• BEV模型在自然扰动下表现出优于非BEV模型的鲁棒性，得益于其丰富的空间与语义表征，能有效维持在常见畸变和部分相机遮挡下的高性能。
• 尽管具备自然鲁棒性，BEV模型对对抗性噪声——尤其是ℓ∞扰动和对抗性补丁——的敏感性显著增强，根源在于BEV特征图中的冗余空间特征。
• 相机-LiDAR融合模型（如TransFusion和BEVFusion）在所有设置下均达到最先进性能并展现出更优鲁棒性，但当图像与点云同时被扰动时，BEVFusion表现出更高的脆弱性。
• 3D一致补丁攻击通过保持相机间空间对齐与帧间时序一致性，实现了高攻击成功率，表明其构成了一种可逃避多相机系统检测的现实威胁向量。
• BEVFormer在应对通用对抗性补丁（类别特定且时序通用）方面表现出强于其他模型的鲁棒性，表明BEV特征中的时序依赖性可增强对通用噪声的抗性。
• 本研究揭示了一个根本性权衡：尽管BEV表征能提升准确率与自然鲁棒性，但其同时放大了对对抗性样本的敏感性，因此在安全关键应用中亟需新型防御机制。