[论文解读] Unsupervised Video Depth Estimation Based on Ego-motion and Disparity Consensus

Lingtao Zhou, Jiaojiao Fang+1 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Vision and Imaging参考文献 23被引用 4

一句话总结

该论文提出了一种无监督单目视频深度估计方法，通过整合左右视差一致性与视图合成损失，提升了深度和自运动估计的性能。通过利用时间一致性和立体一致性，并结合边缘感知平滑正则化，该方法仅使用基线方法所需60%的训练数据，就在KITTI和Make3D数据集上超越了部分有监督方法，表现具有竞争力。

ABSTRACT

Unsupervised learning based depth estimation methods have received more and more attention as they do not need vast quantities of densely labeled data for training which are touch to acquire. In this paper, we propose a novel unsupervised monocular video depth estimation method in natural scenes by taking advantage of the state-of-the-art method of Zhou et al. which jointly estimates depth and camera motion. Our method advances beyond the baseline method by three aspects: 1) we add an additional signal as supervision to the baseline method by incorporating left-right binocular images reconstruction loss based on the estimated disparities, thus the left frame can be reconstructed by the temporal frames and right frames of stereo vision; 2) the network is trained by jointly using two kinds of view syntheses loss and left-right disparity consistency regularization to estimate depth and pose simultaneously; 3) we use the edge aware smooth L2 regularization to smooth the depth map while preserving the contour of the target. Extensive experiments on the KITTI autonomous driving dataset and Make3D dataset indicate the superiority of our algorithm in training efficiency. We can achieve competitive results with the baseline by only 3/5 times training data. The experimental results also show that our method even outperforms the classical supervised methods that using either ground truth depth or given pose for training.

研究动机与目标

• 开发一种无需密集深度标注的自监督单目视频深度估计方法。
• 通过引入立体一致性与视图合成损失，提升训练效率与深度估计精度。
• 通过利用未标注视频序列，降低对大规模标注数据集的依赖。
• 通过边缘感知正则化，在平滑深度预测的同时保留深度图边界。
• 仅使用极少部分训练数据，实现与有监督方法相当或更优的性能。

提出的方法

• 该方法在Zhou等人提出的无监督深度估计框架基础上，引入基于估计视差的左右双目图像重建损失。
• 通过时间帧之间的视图合成损失与立体视差一致性视图合成损失，联合优化深度与自运动。
• 引入视差一致性正则化项，确保左右视图之间预测视差的对称性与一致性。
• 应用边缘感知平滑L2正则化，以在平滑深度图的同时保留物体边界。
• 网络通过未标注视频序列端到端训练，监督信号来源于光度一致性与立体一致性。
• 该方法同时利用单目视频序列与立体图像对，以提升深度估计的鲁棒性。

实验结果

研究问题

• RQ1 立体一致性与视图合成损失是否能提升单目视频序列中的无监督深度估计性能？
• RQ2 引入左右视差一致性对深度图质量与训练收敛性有何影响？
• RQ3 与有监督基线相比，在保持或提升性能的前提下，训练数据可减少到何种程度？
• RQ4 边缘感知正则化是否能提升物体边界处的深度图精度？
• RQ5 无监督方法是否能在无真实深度监督的情况下，实现与有监督方法相当的性能？

主要发现

• 所提方法仅使用基线无监督方法所需60%的训练数据，即实现了具有竞争力的深度估计性能。
• 在KITTI数据集上，该方法超越了多个使用真实深度或已知位姿的经典有监督深度估计方法。
• 由于引入了立体一致性与视图合成损失，模型展现出更优的泛化能力与更快的收敛速度。
• 边缘感知平滑正则化显著提升了深度图质量，有效保留了清晰边界，同时减少了平滑区域的噪声。
• 时间与立体视图合成损失的结合，使序列中深度预测更加准确且一致。
• 在KITTI与Make3D基准上，该方法在无监督方法中达到最先进性能，且监督信号极少。