[论文解读] Outdoor Monocular Depth Estimation: A Research Review

Pulkit Vyas, Chirag Saxena+2 more|arXiv (Cornell University)|May 3, 2022

Advanced Vision and Imaging被引用 11

一句话总结

本文对室外单目深度估计进行了全面综述，回顾了数据集、深度学习方法、训练范式及挑战。文章强调自监督学习是长距离室外场景中的关键方法，并指出了在长距离数据采集、语义融合和实时推理方面存在的开放研究空白。

ABSTRACT

Depth estimation is an important task, applied in various methods and applications of computer vision. While the traditional methods of estimating depth are based on depth cues and require specific equipment such as stereo cameras and configuring input according to the approach being used, the focus at the current time is on a single source, or monocular, depth estimation. The recent developments in Convolution Neural Networks along with the integration of classical methods in these deep learning approaches have led to a lot of advancements in the depth estimation problem. The problem of outdoor depth estimation, or depth estimation in wild, is a very scarcely researched field of study. In this paper, we give an overview of the available datasets, depth estimation methods, research work, trends, challenges, and opportunities that exist for open research. To our knowledge, no openly available survey work provides a comprehensive collection of outdoor depth estimation techniques and research scope, making our work an essential contribution for people looking to enter this field of study.

研究动机与目标

• 系统性回顾公开可用的数据集，重点关注室外单目深度估计。
• 分析基于深度学习的室外深度估计方法的演进与当前状态。
• 识别在长距离深度估计中面临的关键挑战，尤其是由于视角变化有限和真实世界数据稀疏所致。
• 探索语义分割与深度估计的融合，以提升性能与效率。
• 突出在数据采集、模型效率和实时推理方面面向室外应用的开放研究机会。

提出的方法

• 以CVPR和ICCV论文为起点，开展回溯滚雪球式文献综述，并辅以Google Scholar、Scopus和Connected Paper的关键词搜索。
• 根据户外内容对数据集进行分类，包括真实世界、合成及全景数据源，特别关注长距离和场景多样性。
• 调研如MonoDepth2（U-Net结合姿态网络）和SuperDepth（基于超分辨率）等深度学习模型，强调其架构设计与损失函数。
• 分析利用视频一致性与重投影损失生成伪标签、无需真实深度标注的自监督学习（SSL）框架。
• 评估结合LiDAR数据与SSL的混合方法在室外环境中实现深度补全的性能。
• 探索在SSL中应用基于Transformer的架构，以减少对固定相机配置的依赖并提升泛化能力。

实验结果

研究问题

• RQ1 目前有哪些公开可用的数据集可用于训练和评估室外单目深度估计模型？
• RQ2 自监督学习方法如何在真实深度标注数据有限的室外场景中提升深度估计性能？
• RQ3 当前深度学习模型在处理长距离和视角稀疏的室外场景时存在哪些主要局限？
• RQ4 如何有效整合语义分割与深度估计，以降低计算开销并提升准确性？
• RQ5 在实际应用中，实现室外单目深度估计实时推理的主要挑战是什么？

主要发现

• 公开可用的室外深度估计数据集数量仍然有限，尤其是在长距离场景（>100米）方面，这已成为模型泛化的主要瓶颈。
• 自监督学习（SSL）已成为主导的训练范式，能够利用视频序列实现有效的深度估计，并显著减少对昂贵真实深度标注的依赖。
• MonoDepth2和SuperDepth等模型通过结合U-Net架构与姿态估计及重投影损失，有效处理遮挡并提升空间一致性，达到当前最先进性能。
• 在SSL框架中引入不确定性建模，显著提升了在复杂室外条件下的鲁棒性与性能表现。
• 来自模拟器的合成数据集在长距离数据生成方面具有潜力，但通常存在光照不真实、雾霾效果和视角几何失真等问题，需谨慎进行领域自适应。
• 当前模型在实时推理方面表现不佳，主要受限于3D CNN和Transformer的高计算需求，凸显了为实际部署设计轻量化架构的迫切需求。