[论文解读] Multi-View 3D Object Detection Network for Autonomous Driving

Xiaozhi Chen, Huimin Ma+3 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 30被引用 66

一句话总结

本文提出MV3D，一种多视角3D目标检测网络，通过融合LIDAR点云和RGB图像来预测定向3D边界框。它利用点云的鸟瞰图和前视图投影实现高效的3D候选框生成，随后通过深度特征融合网络结合各视角的区域特征，与当前最先进方法相比，在KITTI基准上实现了25%更高的3D定位AP和30%更高的3D检测AP。

ABSTRACT

This paper aims at high-accuracy 3D object detection in autonomous driving scenario. We propose Multi-View 3D networks (MV3D), a sensory-fusion framework that takes both LIDAR point cloud and RGB images as input and predicts oriented 3D bounding boxes. We encode the sparse 3D point cloud with a compact multi-view representation. The network is composed of two subnetworks: one for 3D object proposal generation and another for multi-view feature fusion. The proposal network generates 3D candidate boxes efficiently from the bird's eye view representation of 3D point cloud. We design a deep fusion scheme to combine region-wise features from multiple views and enable interactions between intermediate layers of different paths. Experiments on the challenging KITTI benchmark show that our approach outperforms the state-of-the-art by around 25% and 30% AP on the tasks of 3D localization and 3D detection. In addition, for 2D detection, our approach obtains 10.3% higher AP than the state-of-the-art on the hard data among the LIDAR-based methods.

研究动机与目标

• 通过融合LIDAR点云和RGB图像，提升自动驾驶场景中3D目标检测的精度。
• 通过设计稳健的多模态融合框架，解决单模态方法的局限性——LIDAR提供精确深度，图像提供丰富语义信息。
• 利用稀疏点云的鸟瞰图表示生成精确的3D目标候选框。
• 通过基于区域的融合网络实现在多个视角之间的深层跨模态特征交互。
• 在3D定位、3D检测和2D检测基准上实现优异性能，尤其在具有挑战性的IoU阈值下表现突出。

提出的方法

• 网络使用LIDAR点云的鸟瞰图（BEV）表示，以高效生成3D目标候选框。
• 将3D候选框投影到多个视角（BEV、前视图和RGB图像）以进行区域级特征提取。
• 通过ROI池化操作，利用深度融合网络结合来自不同视角的特征，并在独立路径的中间层之间实现特征交互。
• 融合策略采用丢包训练（drop-path training）和辅助损失，以提升特征学习能力和泛化性能。
• 在融合特征上执行定向3D框回归，以预测精确的3D位置、尺寸和方向。
• 模型在KITTI基准上使用3D检测和2D检测的标准指标进行训练和评估。

实验结果

研究问题

• RQ1 能否通过结合LIDAR和RGB特征的深度融合框架，使3D目标检测精度超越单模态或早期/晚期融合方法？
• RQ2 使用鸟瞰图和前视图投影的多视角编码方案，在从稀疏点云生成3D目标候选框方面有多高效？
• RQ3 区域级的跨视角特征交互在多大程度上提升了3D定位与检测性能？
• RQ4 在3D框上进行训练的3D检测网络，是否仍能在KITTI基准上实现具有竞争力的2D检测性能？
• RQ5 在严格的IoU阈值下，融合LIDAR与图像模态对3D检测和定位精度有何影响？

主要发现

• 仅使用300个候选框，该方法在IoU=0.25时达到99.1%的3D召回率，在IoU=0.5时达到91%，显著优于3DOP和Mono3D。
• LIDAR基线变体在KITTI基准上实现了25%更高的3D定位平均精度（AP）和30%更高的3D检测AP。
• 在困难测试集上，该方法比所有基于LIDAR的2D检测方法高出10.3%的AP，证明了其从3D预测中获得强大2D检测能力。
• 融合全部三个视角（BEV、FV、RGB）的特征可获得最佳性能，证实了多视角表示的互补性。
• 采用辅助损失的深度融合网络相比早期/晚期融合基线性能提升约1%，即使不使用辅助损失，仍能获得约0.5%的性能增益。
• 可视化结果表明，MV3D在位置、尺寸和方向方面生成的3D边界框比VeloFCN和3DOP更精确。