[论文解读] Task-Aware Monocular Depth Estimation for 3D Object Detection

Xinlong Wang, Wei Yin+4 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Vision and Imaging参考文献 41被引用 8

一句话总结

本文提出 ForeSeE，一种任务感知的单目深度估计方法，通过使用独立的解码器和损失函数分别优化前景和背景深度，显著提升了3D目标检测的准确性。通过针对前景深度采用专用目标，ForeSeE 在 KITTI 3D 目标检测基准上实现了 7.5 AP 的提升，成为单目方法中的新 SOTA。

ABSTRACT

Monocular depth estimation enables 3D perception from a single 2D image, thus attracting much research attention for years. Almost all methods treat foreground and background regions ("things and stuff") in an image equally. However, not all pixels are equal. Depth of foreground objects plays a crucial role in 3D object recognition and localization. To date how to boost the depth prediction accuracy of foreground objects is rarely discussed. In this paper, we first analyse the data distributions and interaction of foreground and background, then propose the foreground-background separated monocular depth estimation (ForeSeE) method, to estimate the foreground depth and background depth using separate optimization objectives and depth decoders. Our method significantly improves the depth estimation performance on foreground objects. Applying ForeSeE to 3D object detection, we achieve 7.5 AP gains and set new state-of-the-art results among other monocular methods. Code will be available at: https://github.com/WXinlong/ForeSeE.

研究动机与目标

• 为解决现有单目深度估计方法在关键的前景物体上表现欠佳的问题，这些物体对 3D 目标检测至关重要。
• 探究单张图像深度预测中前景和背景深度在数据分布和交互关系上的差异。
• 开发一种方法，在不降低背景性能的前提下提升前景深度的准确性。
• 展示任务感知深度估计在下游 3D 检测任务中的有效性。
• 为未来针对前景聚焦的深度估计研究建立基准和公平基线。

提出的方法

• ForeSeE 使用独立的解码器分别学习前景和背景区域的深度表征。
• 它采用前景-背景分离的损失函数，对前景和背景像素应用不同的优化目标。
• 该方法结合了一种简单而有效的融合策略，将两个解码器的预测结果整合为统一的深度图。
• 通过实例分割掩码识别前景区域，指导前景专用解码器的训练。
• 该方法被集成到伪 LiDAR 流水线中，利用预测的深度图生成 3D 点云以进行 3D 目标检测。
• 模型在 KITTI-Object 训练集上进行端到端训练，检测头未作任何修改。

实验结果

研究问题

• RQ1 在单目深度估计中，前景和背景深度的数据分布有何不同？
• RQ2 在标准深度估计网络中，将前景和背景深度同等对待会产生何种影响？
• RQ3 通过采用独立的优化目标和解码器，能否在不损害背景性能的前提下提升前景物体的深度准确性？
• RQ4 改进前景深度估计能在多大程度上提升 3D 目标检测性能？
• RQ5 所提出的方法在不同 3D 目标检测器之间是否具备泛化能力？

主要发现

• 当使用 AVOD 检测器时，ForeSeE 在 KITTI 3D 目标检测基准上实现了 7.5 AP 的提升，BEV 指标从 15.0 提升至 23.4 AP。
• 在 F-PointNet 检测器上，ForeSeE-PL 在 easy 级别实现了 3.6 AP 的提升，在 moderate 级别实现了 7.5 AP 的提升。
• 该方法显著提升了前景深度的准确性，减少了 3D 检测中的定位和形状失真问题。
• 使用标准深度估计的基线模型在 BEV 上的 AP 为 19.0，而 ForeSeE-PL 将其提升至 23.4 AP。
• 定性结果表明，漏检更少，3D 检测框更准确，尤其在汽车等前景物体上表现更优。
• 该方法保持或轻微提升了背景深度质量，证实前景优化并未损害整体性能。