[论文解读] Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network

Ali Amiri, Shing Yan Loo+1 more|arXiv (Cornell University)|May 18, 2019

Advanced Vision and Imaging参考文献 28被引用 9

一句话总结

本文提出了一种基于深度神经网络的半监督单目深度估计方法，利用立体重建中的左右一致性以及高质量标注的LiDAR深度图。通过整合一种新颖的左右一致性损失，并在预处理后的LiDAR数据上进行训练，该模型在KITTI基准测试中实现了最先进性能，与使用原始LiDAR投影的方法相比，显著降低了预测误差。

ABSTRACT

There has been tremendous research progress in estimating the depth of a scene from a monocular camera image. Existing methods for single-image depth prediction are exclusively based on deep neural networks, and their training can be unsupervised using stereo image pairs, supervised using LiDAR point clouds, or semi-supervised using both stereo and LiDAR. In general, semi-supervised training is preferred as it does not suffer from the weaknesses of either supervised training, resulting from the difference in the cameras and the LiDARs field of view, or unsupervised training, resulting from the poor depth accuracy that can be recovered from a stereo pair. In this paper, we present our research in single image depth prediction using semi-supervised training that outperforms the state-of-the-art. We achieve this through a loss function that explicitly exploits left-right consistency in a stereo reconstruction, which has not been adopted in previous semi-supervised training. In addition, we describe the correct use of ground truth depth derived from LiDAR that can significantly reduce prediction error. The performance of our depth prediction model is evaluated on popular datasets, and the importance of each aspect of our semi-supervised training approach is demonstrated through experimental results. Our deep neural network model has been made publicly available.

研究动机与目标

• 通过结合监督学习与LiDAR真实值以及无监督学习与立体重建，提升单幅图像的深度估计精度。
• 解决监督方法的局限性，即相机与LiDAR之间视场不匹配的问题，以及无监督方法因立体重建误差导致的深度精度有限的问题。
• 证明使用预处理过的标注LiDAR深度图而非原始投影LiDAR数据，可显著提升模型性能。
• 表明在半监督训练中引入左右一致性损失可提升深度估计精度，并消除对后处理步骤的依赖。
• 发布一个基于Monodepth的公开可用深度神经网络模型，以供更广泛社区使用。

提出的方法

• 该模型采用半监督训练策略，结合使用标注LiDAR深度图的监督学习与使用立体图像对的无监督学习。
• 引入一种新颖的损失函数，强制实现左右一致性，确保从左图像预测的视差图与从右图像重建的视差图保持一致。
• 网络架构基于Monodepth，采用单输出头进行逆深度预测，并使用Sigmoid激活函数将输出限制在0到1.0之间。
• 训练使用Adam优化器并配合学习率调度，超参数经过调优以平衡重建损失、左右一致性损失与深度平滑性。
• 在KITTI数据集上进行训练，同时使用官方标注的深度图与校正后的立体图像对，并对噪声较多的LiDAR投影进行仔细过滤。
• 该方法对左右视图对称处理，避免了先前无监督方法所需的后处理步骤。

实验结果

研究问题

• RQ1 在半监督深度估计中引入左右一致性损失是否能提升性能，优于现有方法？
• RQ2 LiDAR真实值的选择——原始投影数据与预处理标注的深度图——如何影响模型精度？
• RQ3 融合立体重建与LiDAR数据的半监督方法能否超越纯监督或无监督基线方法？
• RQ4 左右一致性在遮挡或非重叠区域中在多大程度上减少预测误差？
• RQ5 所提出的方法在真实世界户外数据集中不同场景与深度范围下是否具备鲁棒性与泛化能力？

主要发现

• 所提方法在KITTI Eigen分割上优于最先进半监督方法[20]，在RMSE、RMSE_log、Abs Rel、Sq Rel和δ阈值等大多数指标上均取得更优结果。
• 与使用原始投影LiDAR数据相比，使用标注LiDAR深度图显著降低了预测误差，如表I所示，后者因位移伪影导致较大误差。
• 左右一致性损失在基线无监督模型[6]基础上进一步提升了性能，证明其在半监督设置中的有效性。
• 该模型在KITTI Stereo 2015分割上实现了最先进性能，定量结果证实了对称损失设计的优势。
• 与原始LiDAR投影相比，使用标注深度图带来了可测量的精度提升，尤其在LiDAR覆盖较差或存在遮挡的区域。
• 通过在损失函数中强制对称性，该方法消除了对后处理步骤的需求，而先前的无监督方法则需要额外的滤波处理。