[论文解读] OA-DET3D: Embedding Object Awareness as a General Plug-in for Multi-Camera 3D Object Detection

Xiaomeng Chu, Jiajun Deng+4 more|arXiv (Cornell University)|Jan 13, 2023

Advanced Neural Network Applications被引用 7

一句话总结

OA-BEV 是一种即插即用模块，通过向鸟瞰图（BEV）表示中注入与目标相关的深度信息和伪3D特征，提升基于BEV的3D目标检测性能。它利用目标级别的深度监督和前景伪LiDAR点云，减少特征失真并改善3D定位效果，在nuScenes数据集上达到43.1% mAP和52.8% NDS，分别优于BEVFormer 1.5%和1.1%。

ABSTRACT

The recent advance in multi-camera 3D object detection is featured by bird's-eye view (BEV) representation or object queries. However, the ill-posed transformation from image-plane view to 3D space inevitably causes feature clutter and distortion, making the objects blur into the background. To this end, we explore how to incorporate supplementary cues for differentiating objects in the transformed feature representation. Formally, we introduce OA-DET3D, a general plug-in module that improves 3D object detection by bringing object awareness into a variety of existing 3D object detection pipelines. Specifically, OA-DET3D boosts the representation of objects by leveraging object-centric depth information and foreground pseudo points. First, we use object-level supervision from the properties of each 3D bounding box to guide the network in learning the depth distribution. Next, we select foreground pixels using a 2D object detector and project them into 3D space for pseudo-voxel feature encoding. Finally, the object-aware depth features and pseudo-voxel features are incorporated into the BEV representation or query feature from the baseline model with a deformable attention mechanism. We conduct extensive experiments on the nuScenes dataset and Argoverse 2 dataset to validate the merits of OA-DET3D. Our method achieves consistent improvements over the BEV-based baselines in terms of both average precision and comprehensive detection score.

研究动机与目标

• 解决多摄像头3D检测中BEV特征转换过程中的特征失真与3D结构信息丢失问题。
• 在无需额外深度标注的情况下，提升BEV表示中的目标感知能力。
• 通过伪3D特征和深度图引入以目标为中心的3D空间线索，提升检测性能。
• 设计一种即插即用模块，与现有基于BEV的检测器兼容，实现一致的性能增益。

提出的方法

• 通过回归每个3D目标中心的深度值，应用目标级别的深度监督以估计前景深度图。
• 利用2D目标检测器识别前景区域，并将其投影到3D空间，生成稀疏伪LiDAR点云。
• 将伪LiDAR点云进行体素化，并通过3D稀疏卷积进行编码，生成伪体素特征。
• 利用可变形注意力机制，将与目标相关的深度特征和伪体素特征融合进BEV表示中。
• 该方法利用现有的3D检测标签进行监督，避免了对额外深度标注的需求。
• 即插即用模块被集成到BEV-based检测器（如BEVDet和BEVFormer）中，且无需对主干网络进行任何架构修改。

实验结果

研究问题

• RQ1 在无需额外深度标注的情况下，与目标相关的深度监督能否提升BEV特征质量？
• RQ2 基于2D检测和深度图生成的伪3D特征在提升3D目标定位性能方面效果如何？
• RQ3 通过可变形注意力融合深度特征与伪体素特征，对检测精度的提升程度如何？
• RQ4 OA-BEV的性能增益是否依赖于底层BEV表示的质量？

主要发现

• 在nuScenes验证集上，OA-BEV达到43.1% mAP和52.8% NDS，分别优于BEVFormer 1.5%和1.1%。
• 在测试集上，OA-BEV在不使用测试时增强或模型集成的情况下，mAP提升1.3%，NDS提升0.6%，优于BEVFormer。
• 目标级别的深度监督贡献了1.4% mAP和0.8% NDS的增益，证明其在提升深度估计精度方面的有效性。
• 伪体素特征融合使mAP提升1.2%，表明3D结构线索对空间定位具有显著优势。
• 通过可变形交叉注意力融合深度特征，mAP和NDS各提升0.4%，证实其在增强空间表征中的作用。
• 在nuImages上进行预训练可将属性错误降低0.014，表明2D感知预训练有助于提升语义特征学习。