[论文解读] RoboBEV: Towards Robust Bird's Eye View Perception under Corruptions

Shaoyuan Xie, Lingdong Kong+5 more|arXiv (Cornell University)|Apr 13, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出了RoboBEV，一个全面的基准测试，用于评估基于摄像头的鸟瞰图（BEV）感知模型在8种自然退化情况下的鲁棒性——包括环境因素（雾、雪）、传感器引起的退化（运动模糊、色彩量化）以及时间上的干扰（摄像头故障、帧丢失）。研究发现，预训练和无深度的BEV转换能显著提升分布外鲁棒性，而长时序建模则能显著改善在退化条件下的性能。

ABSTRACT

The recent advances in camera-based bird's eye view (BEV) representation exhibit great potential for in-vehicle 3D perception. Despite the substantial progress achieved on standard benchmarks, the robustness of BEV algorithms has not been thoroughly examined, which is critical for safe operations. To bridge this gap, we introduce RoboBEV, a comprehensive benchmark suite that encompasses eight distinct corruptions, including Bright, Dark, Fog, Snow, Motion Blur, Color Quant, Camera Crash, and Frame Lost. Based on it, we undertake extensive evaluations across a wide range of BEV-based models to understand their resilience and reliability. Our findings indicate a strong correlation between absolute performance on in-distribution and out-of-distribution datasets. Nonetheless, there are considerable variations in relative performance across different approaches. Our experiments further demonstrate that pre-training and depth-free BEV transformation has the potential to enhance out-of-distribution robustness. Additionally, utilizing long and rich temporal information largely helps with robustness. Our findings provide valuable insights for designing future BEV models that can achieve both accuracy and robustness in real-world deployments.

研究动机与目标

• 为解决在真实世界退化条件下，基于摄像头的BEV感知模型鲁棒性理解方面的关键空白。
• 评估现有BEV模型在自动驾驶场景中常见的多种自然退化下的表现。
• 识别出不依赖于分布内性能的架构与训练策略，以增强鲁棒性。
• 为设计未来在安全关键部署中既准确又可靠的BEV模型提供可操作的洞见。

提出的方法

• 提出RoboBEV，一个新颖的基准测试套件，包含8种不同的退化类型：Bright、Dark、Fog、Snow、Motion Blur、Color Quant、Camera Crash和Frame Lost。
• 在nuScenes等标准BEV检测基准上，对三种严重程度的退化进行应用，以模拟真实世界中的分布偏移。
• 在干净和退化设置下，对26个最先进的基于摄像头的BEV感知模型进行评估，以衡量其鲁棒性。
• 采用标准化指标，包括NuScenes检测分数（NDS）、mAP以及定位误差（mATE、mASE等），实现全面评估。
• 通过对比不同退化类型下模型变体的表现，分析预训练、无深度BEV转换和时序建模的影响。
• 使用雷达图和统计分析可视化性能下降情况，并识别模型间的鲁棒性模式。

Figure 1: The radar charts of existing BEV detectors’ nuScenes Detection Score (NDS) [ 3 ] under eight corruption types. We observe diverse behaviors of different models even with competitive “clean” performance. The NDS is normalized across all the benchmarking BEV models to lie between 0.1 and 1.

实验结果

研究问题

• RQ1 现有BEV模型在各种自然退化下的表现如何？其在干净数据集上的性能与在退化条件下的鲁棒性之间是否存在强相关性？
• RQ2 哪些架构或训练组件（如预训练或无深度BEV转换）最能显著提升分布外鲁棒性？
• RQ3 利用长时序且丰富的时序信息在多大程度上能增强模型对帧丢失或摄像头故障等时间退化类型的抗性？
• RQ4 是否存在某些退化类型会显著降低模型性能，且这些退化的影响是否因模型架构不同而异？

主要发现

• 在分布内性能与退化下的鲁棒性之间存在强相关性，但相对鲁棒性并不总是与绝对性能排名一致。
• 采用预训练和无深度BEV转换的模型在所有退化类型下均表现出显著提升的鲁棒性，表明其具有关键的设计优势。
• 更长且更丰富的时序建模能显著增强鲁棒性，尤其在帧丢失和摄像头故障等时间退化下表现突出。
• 时间退化如帧丢失和摄像头故障导致性能下降最严重，部分模型的NDS下降超过50%。
• 环境退化如雪和雾会导致显著的性能下降，极端情况下NDS可低至0.11（例如SOLOFusion在雪天下的表现）。
• 色彩量化和运动模糊也导致明显的性能下降，尤其在mAP和定位误差指标上，凸显模型对视觉保真度的敏感性。

Figure 2: Corruption examples from the RoboBEV benchmark. Left: Corruption taxonomy. Right: Temporal corruptions. Camera Crash drop fixed set of images along timestamps; Frame Lost randomly drop frames along timestamps. More examples are in Appendix 9.3 .