[论文解读] PLUME: Efficient 3D Object Detection from Stereo Images.

Yan Wang, Bin Yang+3 more|arXiv (Cornell University)|Jan 17, 2021

Advanced Neural Network Applications参考文献 49被引用 11

一句话总结

该论文提出PLUME，一种统一框架，可直接从双目图像构建3D伪LiDAR特征体素，以在相同度量空间中联合优化深度估计与3D目标检测。通过消除深度与检测头之间的表征不匹配，PLUME在KITTI基准上实现了最先进性能，且推理速度显著快于以往基于双目的方法。

ABSTRACT

3D object detection is a key component of many robotic applications such as self-driving vehicles. While many approaches rely on expensive 3D sensors such as LiDAR to produce accurate 3D estimates, methods that exploit stereo cameras have recently shown promising results at a lower cost. Existing approaches tackle this problem in two steps: first depth estimation from stereo images is performed to produce a pseudo LiDAR point cloud, which is then used as input to a 3D object detector. However, this approach is suboptimal due to the representation mismatch, as the two tasks are optimized in two different metric spaces. In this paper we propose a model that unifies these two tasks and performs them in the same metric space. Specifically, we directly construct a pseudo LiDAR feature volume (PLUME) in 3D space, which is then used to solve both depth estimation and object detection tasks. Our approach achieves state-of-the-art performance with much faster inference times when compared to existing methods on the challenging KITTI benchmark.

研究动机与目标

• 为解决基于双目的3D目标检测中深度估计与检测在不同度量空间中优化所导致的表征不匹配问题。
• 通过将深度估计与3D检测统一为单一端到端可训练框架，提升效率与准确性。
• 消除对中间伪LiDAR点云的依赖，从而减少误差传播与计算低效。
• 仅使用双目图像，避免昂贵的LiDAR传感器，在KITTI基准上实现最先进性能。

提出的方法

• 该方法直接从双目图像在共享3D空间中构建3D伪LiDAR特征体素（PLUME），实现深度与检测任务的联合优化。
• 利用双目图像对在每个3D体素位置回归深度，形成编码几何与语义信息的密集3D特征体素。
• 将3D特征体素作为单一网络头的输入，同时执行深度估计与3D目标检测。
• 采用多任务损失函数，在同一3D空间中平衡深度监督与检测监督，实现端到端训练。
• 避免生成稀疏点云的中间步骤，降低计算开销与误差累积。
• 使用3D卷积神经网络处理特征体素，在统一表征中预测深度与目标检测结果。

实验结果

研究问题

• RQ1 在共享3D度量空间中联合优化深度估计与3D目标检测，是否能超越串行处理流程的性能？
• RQ2 消除中间伪LiDAR点云是否能减少误差传播并提升推理速度？
• RQ3 所提出的统一3D特征体素在KITTI基准上与现有基于双目的方法相比，在准确率与效率方面表现如何？
• RQ4 统一的训练方案在多任务间提升泛化能力与特征一致性方面，效果如何？

主要发现

• PLUME仅使用双目图像，就在KITTI 3D目标检测基准上实现了最先进性能。
• 与现有基于双目的3D检测方法相比，该方法表现出显著更快的推理速度。
• 通过在单一3D特征体素中统一深度与检测任务，PLUME减少了困扰两阶段双目流水线的表征不匹配问题。
• 在共享度量空间中的联合优化，提升了特征一致性与检测准确率。
• 消除中间点云生成步骤，降低了计算成本与误差传播。
• 该框架在准确率与速度两方面均优于以往基于双目的方法，在KITTI上建立了新的最先进水平。