[论文解读] PLUMENet: Efficient 3D Object Detection from Stereo Images

Yan Wang, Bin Yang+3 more|arXiv (Cornell University)|Jan 17, 2021

Advanced Neural Network Applications被引用 4

一句话总结

PLUMENet 提出了一种统一的三维特征体 PLUME，直接从立体图像在三维度量空间中构建，以联合优化深度估计与三维目标检测，在 KITTI 数据集上实现了 66.3% 的 mAP，推理速度达到 6.6 Hz（比之前方法快 4 倍），通过消除表示不匹配并实现全分辨率特征利用，取得了最先进性能。

ABSTRACT

3D object detection is a key component of many robotic applications such as self-driving vehicles. While many approaches rely on expensive 3D sensors such as LiDAR to produce accurate 3D estimates, methods that exploit stereo cameras have recently shown promising results at a lower cost. Existing approaches tackle this problem in two steps: first depth estimation from stereo images is performed to produce a pseudo LiDAR point cloud, which is then used as input to a 3D object detector. However, this approach is suboptimal due to the representation mismatch, as the two tasks are optimized in two different metric spaces. In this paper we propose a model that unifies these two tasks and performs them in the same metric space. Specifically, we directly construct a pseudo LiDAR feature volume (PLUME) in 3D space, which is then used to solve both depth estimation and object detection tasks. Our approach achieves state-of-the-art performance with much faster inference times when compared to existing methods on the challenging KITTI benchmark.

研究动机与目标

• 解决基于立体图像的三维检测中，图像空间深度估计与三维空间目标检测之间的表示不匹配问题。
• 降低在图像空间中构建三维代价体所导致的计算与内存开销。
• 通过减轻图像空间处理带来的透视失真影响，提升远距离检测性能。
• 通过在度量空间中使用统一的三维特征体，实现深度估计与目标检测的端到端联合优化。
• 在显著提升推理速度的同时，实现最先进的精度，以满足实时自动驾驶应用需求。

提出的方法

• 直接从立体图像特征在三维度量空间中构建伪激光雷达特征体（PLUME），跳过图像空间代价体的构建过程。
• 使用全分辨率立体图像特征构建 PLUME，避免下采样，保留空间细节。
• 在相同的三维/鸟瞰图（BEV）空间中执行深度估计与 3D 目标检测，实现共享特征学习与联合优化。
• 在 3D-BEV 网络架构中结合使用 3D 与 2D 卷积，从 PLUME 中提取用于两项任务的判别性特征。
• 通过双线性变形与 3D 特征融合图像特征，以增强检测性能。
• 使用 3D 占位预测作为深度估计的监督信号，减少图像空间中透视失真带来的偏差。

实验结果

研究问题

• RQ1 在度量空间中构建统一的三维特征体表示，是否能相比传统的图像到三维的流水线方法，同时提升深度估计与 3D 检测的性能？
• RQ2 与图像空间代价体方法相比，直接在三维空间中构建特征体是否能降低计算成本与内存占用？
• RQ3 在三维空间中进行联合优化，是否能缓解基于图像的方法中因透视失真导致的远距离深度估计偏差？
• RQ4 在三维空间中使用全分辨率图像特征，对检测精度与推理速度的提升程度如何？
• RQ5 与现有特征体格式（如视差 FV、深度 FV、伪激光雷达 FV）相比，所提出的 PLUME 表示在精度与效率方面表现如何？

主要发现

• PLUMENet-Middle 在 KITTI 测试集上以鸟瞰图评估，在中等难度下达到 66.3% 的平均精度（AP），超越所有先前方法，且无需外部训练数据。
• 该模型推理速度达 6.6 Hz（每帧 150 ms），相比类似精度的先进基线方法（如 CDN 与 DSGN）提速 4 倍。
• 大规模的 PLUMENet-Large 模型显著优于当前最先进方法，证明了 PLUME 方法的可扩展性。
• 消融实验表明，全分辨率图像特征相比下采样特征表现更优，且随着分辨率降低，AP 显著下降。
• 图像特征融合使检测性能提升 0.4 个 AP 点，证实了引入高分辨率图像线索的价值。
• 定性结果表明，PLUMENet-Large 生成了高质量、精确的占位预测，物体形状准确，误检极少。