[论文解读] Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss

Lipu Zhou, Jiamin Ye+3 more|arXiv (Cornell University)|Dec 8, 2018

Advanced Vision and Imaging参考文献 50被引用 19

一句话总结

该论文提出了一种无监督单目深度估计框架，通过整合束调整（bundle adjustment）、超分辨率和CLIP损失，提升了深度估计的准确性。通过在长基线上联合优化相机位姿和深度，利用超分辨率网络生成高分辨率深度图，并应用CLIP损失以减轻运动物体和遮挡带来的误差，该方法在KITTI数据集上实现了最先进（SOTA）的性能，优于以往的无监督单目方法，并接近基于立体视觉的方法。

ABSTRACT

We present a novel unsupervised learning framework for single view depth estimation using monocular videos. It is well known in 3D vision that enlarging the baseline can increase the depth estimation accuracy, and jointly optimizing a set of camera poses and landmarks is essential. In previous monocular unsupervised learning frameworks, only part of the photometric and geometric constraints within a sequence are used as supervisory signals. This may result in a short baseline and overfitting. Besides, previous works generally estimate a low resolution depth from a low resolution impute image. The low resolution depth is then interpolated to recover the original resolution. This strategy may generate large errors on object boundaries, as the depth of background and foreground are mixed to yield the high resolution depth. In this paper, we introduce a bundle adjustment framework and a super-resolution network to solve the above two problems. In bundle adjustment, depths and poses of an image sequence are jointly optimized, which increases the baseline by establishing the relationship between farther frames. The super resolution network learns to estimate a high resolution depth from a low resolution image. Additionally, we introduce the clip loss to deal with moving objects and occlusion. Experimental results on the KITTI dataset show that the proposed algorithm outperforms the state-of-the-art unsupervised methods using monocular sequences, and achieves comparable or even better result compared to unsupervised methods using stereo sequences.

研究动机与目标

• 缩小无监督单目与基于立体视觉的深度估计方法之间的性能差距。
• 通过引入长基线几何约束，解决以往无监督单目框架中基线过短的局限性。
• 减少由低分辨率深度估计与双线性插值引起的深度图边界伪影。
• 在无真实深度监督的情况下，提升对运动物体和遮挡的鲁棒性。
• 通过可学习的超分辨率网络，实现从低分辨率输入到高分辨率深度预测。

提出的方法

• 采用束调整框架，在单目帧序列中联合优化相机位姿与深度图，以增加有效基线。
• 训练一个超分辨率网络，直接从低分辨率输入预测高分辨率深度图，避免插值误差。
• 引入跨序列几何一致性损失，强制非连续帧之间的光度一致性和深度一致性。
• 采用CLIP损失函数，限制运动物体和遮挡引起的高梯度误差，防止其干扰训练过程。
• 利用图像合成作为监督信号，基于静态场景假设下的光度一致性进行训练。
• 采用端到端方式联合优化光度损失、几何损失与CLIP损失，无需真实深度监督。

实验结果

研究问题

• RQ1 能否通过联合优化位姿与深度的束调整框架，提升无监督单目学习中的深度估计精度？
• RQ2 与双线性插值相比，专用的超分辨率网络是否能显著减少深度预测中的边界伪影？
• RQ3 CLIP损失函数能否有效缓解无监督深度学习中因运动物体和遮挡导致的性能下降？
• RQ4 无监督单目方法在基准数据集上能在多大程度上实现与基于立体视觉方法相当的性能？
• RQ5 所提方法在具有不同分辨率和场景特征的数据集上，泛化能力如何？

主要发现

• 在KITTI测试集上，该方法实现了13.9%的平均绝对误差（AbsRel），优于以往的无监督单目方法，如GeoNet（15.5%）和DF-Net（15.0%）。
• 模型在相对误差（Rel）上达到1.057，在阈值精度（δ < 1.25）上达到0.975，表明在多种指标上均表现优异。
• 消融实验表明，若移除超分辨率网络，将导致显著的边界伪影；若省略CLIP损失，则对动态场景更加敏感。
• 通过束调整引入的跨序列约束，显著增加了有效基线，提升了深度估计的稳定性和准确性。
• 在Make3D数据集上，尽管存在分辨率不匹配，模型仍表现出良好的泛化能力，表明具备强大的域迁移能力。
• 该方法性能可与基于立体视觉的无监督方法相媲美，显著缩小了单目与立体训练策略之间的性能差距。