[论文解读] Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving

Yurong You, Yan Wang+6 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Neural Network Applications参考文献 48被引用 220

一句话总结

本文通过深度优化的立体网络（SDN）和基于图的深度校正（GDC）使用稀疏 LiDAR，提升伪LiDAR 3D检测，并缩小与 KITTI 上基于 LiDAR 的方法的差距。

ABSTRACT

Detecting objects such as cars and pedestrians in 3D plays an indispensable role in autonomous driving. Existing approaches largely rely on expensive LiDAR sensors for accurate depth information. While recently pseudo-LiDAR has been introduced as a promising alternative, at a much lower cost based solely on stereo images, there is still a notable performance gap. In this paper we provide substantial advances to the pseudo-LiDAR framework through improvements in stereo depth estimation. Concretely, we adapt the stereo network architecture and loss function to be more aligned with accurate depth estimation of faraway objects --- currently the primary weakness of pseudo-LiDAR. Further, we explore the idea to leverage cheaper but extremely sparse LiDAR sensors, which alone provide insufficient information for 3D detection, to de-bias our depth estimation. We propose a depth-propagation algorithm, guided by the initial depth estimates, to diffuse these few exact measurements across the entire depth map. We show on the KITTI object detection benchmark that our combined approach yields substantial improvements in depth estimation and stereo-based 3D object detection --- outperforming the previous state-of-the-art detection accuracy for faraway objects by 40%. Our code is available at https://github.com/mileyan/Pseudo_Lidar_V2.

研究动机与目标

• 解决基于立体视觉的 3D 检测中的深度估计偏差，特别是针对远处物体。
• 开发一个以深度为导向的立体网络，使其学习直接深度而非视差。
• 通过基于图的扩散将密集立体深度与稀疏 LiDAR 结合，以校正深度。

提出的方法

• 在深度代价体中用直接深度损失替代基于视差的学习，使深度网格上可以进行 3D 卷积（SDN）。
• 对标准视差代价体进行插值与变换，得到深度代价体，以减少远距离的深度误差。
• 提出一个深度传播（GDC）算法，使用少量精确 LiDAR 测量来引导在 KNN 图上的深度扩散，从而得到密集而准确的深度。
• 使用带权 KNN 图通过求解带约束的二次优化来传播 LiDAR 深度，确保地标深度保持不变。
• 使用在合成数据和 KITTI 上训练的立体深度网络（SDN）进行评估；对 SDN 输出应用基于图的校正。

实验结果

研究问题

• RQ1 在立体网络中直接深度优化是否能降低远距离物体的深度偏差，相比基于视差的学习？
• RQ2 通过基于图的深度校正引入稀疏 LiDAR 测量是否能显著改善密集深度图和 3D 物体检测？
• RQ3 深度损失、深度代价体以及 GDC 步骤对整体检测精度的相对贡献是什么？
• RQ4 在加入稀疏 LiDAR 后，基于立体的伪 LiDAR 与 LiDAR 基于的检测相比能相差多近？
• RQ5 在 KITTI 上，增益是否在汽车、行人和自行车检测之间保持一致？

主要发现

• 与基于视差的方法相比，SDN 在远距离的深度估计误差显著降低。
• 深度损失和深度代价体带来可衡量的增益（例如：6%/2%和 2–3% 的提升，取决于检测器）。
• 4 光束 LiDAR 的 GDC 显著提升检测，在某些指标上接近 LiDAR 级别性能。
• 在 KITTI 上，结合 SDN 和 GDC 的 PL++ 对远距离物体的性能超越以往的立体方法，提升高达 40%。
• 在某些指标上，使用 L# + S 输入的 PL++ 接近 64 光束 LiDAR 的性能，缩小成本差距。
• 定性而言，SDN+GDC 产生的深度图和目标定位与真值更一致，尤其是远距离对象。