[论文解读] Probabilistic and Geometric Depth: Detecting Objects in Perspective

Tai Wang, Xinge Zhu+2 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 50被引用 94

一句话总结

本文提出 PGD，将概率深度不确定性与几何深度传播图结合起来，以提升单目三维物体检测，在 KITTI 和 nuScenes 上实现最先进的结果，同时保持实时。

ABSTRACT

3D object detection is an important capability needed in various practical applications such as driver assistance systems. Monocular 3D detection, as a representative general setting among image-based approaches, provides a more economical solution than conventional settings relying on LiDARs but still yields unsatisfactory results. This paper first presents a systematic study on this problem. We observe that the current monocular 3D detection can be simplified as an instance depth estimation problem: The inaccurate instance depth blocks all the other 3D attribute predictions from improving the overall detection performance. Moreover, recent methods directly estimate the depth based on isolated instances or pixels while ignoring the geometric relations across different objects. To this end, we construct geometric relation graphs across predicted objects and use the graph to facilitate depth estimation. As the preliminary depth estimation of each instance is usually inaccurate in this ill-posed setting, we incorporate a probabilistic representation to capture the uncertainty. It provides an important indicator to identify confident predictions and further guide the depth propagation. Despite the simplicity of the basic idea, our method, PGD, obtains significant improvements on KITTI and nuScenes benchmarks, achieving 1st place out of all monocular vision-only methods while still maintaining real-time efficiency. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.

研究动机与目标

• 证明实例深度估计是单目3D检测中的关键瓶颈，提升深度估计将提升整体性能。
• 提出一种概率深度表示，用以捕捉每个物体深度的不确定性。
• 引入基于透视几何的深度传播图，以利用物体之间的上下文关系。
• 通过一个学习的融合机制，将概率局部深度与基于图的几何深度融合。
• 展示在 KITTI 和 nuScenes 上，使用端到端框架实现实时性能和最先进的结果。

提出的方法

• 将深度建模为对深度区间的概率分布，并计算期望深度 D_P。
• 通过深度分布的前 k 个置信分数表示深度的不确定性，并推导深度分数 s^d。
• 使用透视几何构建深度传播图，以在物体间关联深度，并基于深度置信、2D接近度和类别相似性进行边缘裁剪与门控。
• 将几何深度 D_G 计算为其他对象深度预测的加权和，使用边分数，确保传播阶段无梯度。
• 通过一个位置感知映射 alpha 将局部深度 D_L（直接回归 D_R 与概率深度 D_P 的组合）与几何深度 D_G 融合：D = sigma(alpha) * D_L + (1 - sigma(alpha)) * D_G。
• 将最终深度预测整合进端到端的基于 FCOS3D 的检测器，并使用标准损失函数进行训练。

实验结果

研究问题

• RQ1 是否可以将单目3D检测的主要瓶颈重新表述为实例深度估计，并且解决它是否会提升所有3D预测？
• RQ2 概率深度表示是否通过捕获不确定性并引导传播来改善深度估计？
• RQ3 通过深度传播图的多物体几何关系是否能为超越独立实例的深度估计带来显著收益？
• RQ4 通过对概率/局部深度和几何深度的简单融合，是否能实现稳健、实时的单目3D检测性能？
• RQ5 所提出的 PGD 方法在标准基准（KITTI、nuScenes）上相较于先前的单目方法的表现如何？

主要发现

• 深度被识别为主要瓶颈；准确的深度使其他3D属性的提升成为可能。
• 带有不确定性分数的概率深度估计 (D_P) 相对于直接回归单独提高深度准确性。
• 通过透视几何图的深度传播 (D_G) 利用邻近物体的上下文线索来细化深度。
• 结合位置感知映射 (D_L) 和门控机制可在不牺牲速度的情况下带来显著性能提升。
• PGD 在 KITTI 和 nuScenes 基准测试中在单目视觉方法中名列第一，同时实现实时运行（≈36 Hz）。
• 当加入 PGD 组件时，简单的基于 FCOS3D 的骨干网络就足以，展示了以深度为核心设计在基于透视的检测中的有效性。