[论文解读] Parse Geometry from a Line: Monocular Depth Estimation with Partial Laser Observation

Yiyi Liao, Lichao Huang+4 more|arXiv (Cornell University)|Oct 17, 2016

Advanced Vision and Imaging参考文献 10被引用 6

一句话总结

该论文提出了一种单目深度估计方法，利用稀疏的2D激光测距数据解决尺度模糊问题并提升深度估计精度。通过从激光扫描构建稠密参考深度图，并使用结合分类与回归损失的残差-残差卷积神经网络进行训练，该方法估计残差深度，在NYUD2和KITTI数据集上实现了最先进性能，显著提升了障碍物避让的可靠性。

ABSTRACT

Many standard robotic platforms are equipped with at least a fixed 2D laser range finder and a monocular camera. Although those platforms do not have sensors for 3D depth sensing capability, knowledge of depth is an essential part in many robotics activities. Therefore, recently, there is an increasing interest in depth estimation using monocular images. As this task is inherently ambiguous, the data-driven estimated depth might be unreliable in robotics applications. In this paper, we have attempted to improve the precision of monocular depth estimation by introducing 2D planar observation from the remaining laser range finder without extra cost. Specifically, we construct a dense reference map from the sparse laser range data, redefining the depth estimation task as estimating the distance between the real and the reference depth. To solve the problem, we construct a novel residual of residual neural network, and tightly combine the classification and regression losses for continuous depth estimation. Experimental results suggest that our method achieves considerable promotion compared to the state-of-the-art methods on both NYUD2 and KITTI, validating the effectiveness of our method on leveraging the additional sensory information. We further demonstrate the potential usage of our method in obstacle avoidance where our methodology provides comprehensive depth information compared to the solution using monocular camera or 2D laser range finder alone.

研究动机与目标

• 为解决单目深度估计中的全局尺度模糊问题，这是机器人应用中的主要挑战。
• 通过在不增加额外硬件成本的前提下，将稀疏的2D激光测距数据与单目图像融合，提升深度估计的可靠性。
• 将深度估计重新定义为真实深度与从激光数据导出的稠密参考图之间的残差学习问题。
• 开发一种新型深度学习架构，能够融合RGB图像与部分深度观测，实现连续、稠密的深度预测。
• 在真实机器人任务中验证该方法的有效性，特别是在障碍物避让方面，单个传感器因视场受限而失效的场景。

提出的方法

• 利用插值和几何约束，从稀疏的2D激光测距数据构建稠密参考深度图。
• 将单目深度估计重新表述为预测真实深度与参考深度图之间残差深度的问题。
• 设计一种新型的残差-残差全卷积神经网络（RCNN），通过分层特征学习建模残差深度。
• 使用结合分类损失（用于深度等级预测）与回归损失（用于连续深度值估计）的联合损失函数进行网络训练。
• 将单目图像与激光扫描作为多模态输入输入网络，实现从部分观测中端到端学习深度。
• 通过将预测的残差深度加到参考图上，重建完整的稠密深度图。

实验结果

研究问题

• RQ1 稀疏的2D激光测距数据能否有效减少单目深度估计中的全局尺度模糊？
• RQ2 如何设计深度神经网络，以联合利用RGB图像与部分深度观测实现稠密深度预测？
• RQ3 结合分类与回归损失是否能提升残差深度估计的准确性和鲁棒性？
• RQ4 与单独使用单目图像或2D激光测距仪相比，该方法在多大程度上提升了障碍物避让性能？
• RQ5 该方法在室内与室外环境、不同场景复杂度下是否具备良好的泛化能力？

主要发现

• 所提方法在NYUD2和KITTI数据集上均达到最先进性能，优于现有单目深度估计方法。
• 在激光扫描高度（80cm）处，深度估计精度显著提升，该高度处RMS、REL和log10误差指标达到最小值。
• 性能增益不仅局限于激光高度，表明部分激光数据可改善整体场景的深度估计。
• 该方法将均方根误差降低至80cm以下，特别适用于机器人导航与障碍物避让。
• 障碍物避让实验表明，融合的深度预测结果生成了比单目图像或2D激光扫描更全面、更可靠的障碍物地图。
• 在20cm处增加第二个激光扫描可进一步提升对上部障碍物的检测能力，表明多高度激光融合具有潜力。