[论文解读] Toward Hierarchical Self-Supervised Monocular Absolute Depth Estimation for Autonomous Driving Applications

Feng Xue, Guirong Zhuo+4 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Vision and Imaging参考文献 36被引用 4

一句话总结

本文提出 DNet，一种自监督单目深度估计框架，可提升物体级深度精度，并在无需额外传感器的情况下实现绝对深度预测。通过引入用于分层特征优化的密集连接预测（DCP）层，以及利用地面平面几何信息进行尺度恢复的密集几何约束（DGC）模块，DNet 在性能上达到当前最先进水平，与使用激光雷达真值的方法相当，尤其当地面点超过图像像素的 1.03% 时表现更优。

ABSTRACT

In recent years, self-supervised methods for monocular depth estimation has rapidly become an significant branch of depth estimation task, especially for autonomous driving applications. Despite the high overall precision achieved, current methods still suffer from a) imprecise object-level depth inference and b) uncertain scale factor. The former problem would cause texture copy or provide inaccurate object boundary, and the latter would require current methods to have an additional sensor like LiDAR to provide depth ground-truth or stereo camera as additional training inputs, which makes them difficult to implement. In this work, we propose to address these two problems together by introducing DNet. Our contributions are twofold: a) a novel dense connected prediction (DCP) layer is proposed to provide better object-level depth estimation and b) specifically for autonomous driving scenarios, dense geometrical constrains (DGC) is introduced so that precise scale factor can be recovered without additional cost for autonomous vehicles. Extensive experiments have been conducted and, both DCP layer and DGC module are proved to be effectively solving the aforementioned problems respectively. Thanks to DCP layer, object boundary can now be better distinguished in the depth map and the depth is more continues on object level. It is also demonstrated that the performance of using DGC to perform scale recovery is comparable to that using ground-truth information, when the camera height is given and the ground point takes up more than 1.03\% of the pixels. Code is available at https://github.com/TJ-IPLab/DNet.

研究动机与目标

• 解决自监督单目深度估计中物体级深度推断不精确的问题。
• 消除单目深度估计中对激光雷达或双目相机进行尺度恢复的依赖。
• 通过从单张 RGB 图像实现绝对深度预测，推动自监督深度估计在自动驾驶中的实际部署。
• 通过分层特征学习提升深度图的连续性与边界精度。
• 开发一种基于地面平面几何约束的鲁棒、无传感器尺度恢复方法。

提出的方法

• 引入密集连接预测（DCP）层，以分层方式聚合多尺度特征，提升物体级深度估计性能，减少视觉伪影。
• DCP 层通过跨尺度融合特征，对深度预测进行优化，增强边界定义与深度连续性。
• 提出密集几何约束（DGC）模块，通过检测地面点并计算相机高度，实现绝对深度估计。
• DGC 模块采用统计方法抑制地面点检测中的异常值，并通过比较估计与给定的相机高度计算尺度因子。
• 框架使用光度重建损失实现自监督，其中 DGC 实现无需真值深度的尺度校准。
• 方法在 KITTI Eigen 划分数据集上端到端训练，推理耗时 50.0ms，DGC 尺度恢复耗时 4.1ms。

实验结果

研究问题

• RQ1 分层特征学习能否提升自监督单目深度估计中物体级深度边界的准确性？
• RQ2 能否在无激光雷达或双目监督的情况下，从单目图像中恢复绝对深度？
• RQ3 在地面点比例变化时，DGC 模块在尺度恢复方面的鲁棒性如何？
• RQ4 基于 DGC 的尺度恢复方法在性能上是否优于或等同于基于激光雷达的尺度校准？
• RQ5 可靠基于 DGC 的尺度估计所需的最低地面点比例是多少？

主要发现

• DCP 层显著改善了物体边界的定义并减少了深度伪影，与基线方法的定性对比结果表明其优势。
• 当地面点超过图像像素的 1.03% 时，DGC 模块的尺度恢复性能可与基于真值的方法相媲美。
• 在 31.7% 至 45.2% 的测试帧中，DGC 模块在至少一个评估指标上优于激光雷达基线方法。
• 当地面点比例足够高时，DGC 模块在多样化场景中表现出鲁棒且一致的性能。
• 完整 DNet 流程在 KITTI Eigen 划分数据集上表现具有竞争力，推理时间 50.0ms，DGC 尺度恢复耗时 4.1ms。
• 消融实验验证了 DCP 层与 DGC 模块的有效性，敏感性分析显示当地面点比例低于 1.03% 时性能显著下降。