[论文解读] Towards Real-Time Monocular Depth Estimation for Robotics: A Survey

Xingshuai Dong, Matthew Garratt+2 more|arXiv (Cornell University)|Nov 16, 2021

Advanced Vision and Imaging参考文献 185被引用 6

一句话总结

本综述全面回顾了1970年至2021年机器人领域单目深度估计（MDE）方法，涵盖运动结构法（SfM）、手工设计特征方法以及基于深度学习的方法。评估了性能指标、数据集、开源实现及在自运动估计、避障和场景理解中的应用，识别出未来关键研究方向，包括实时效率、域适应性和可解释性。

ABSTRACT

As an essential component for many autonomous driving and robotic activities such as ego-motion estimation, obstacle avoidance and scene understanding, monocular depth estimation (MDE) has attracted great attention from the computer vision and robotics communities. Over the past decades, a large number of methods have been developed. To the best of our knowledge, however, there is not a comprehensive survey of MDE. This paper aims to bridge this gap by reviewing 197 relevant articles published between 1970 and 2021. In particular, we provide a comprehensive survey of MDE covering various methods, introduce the popular performance evaluation metrics and summarize publically available datasets. We also summarize available open-source implementations of some representative methods and compare their performances. Furthermore, we review the application of MDE in some important robotic tasks. Finally, we conclude this paper by presenting some promising directions for future research. This survey is expected to assist readers to navigate this research field.

研究动机与目标

• 提供1970年至2021年期间单目深度估计（MDE）方法的全面、最新综述，重点关注机器人应用。
• 解决现有综述中缺乏对单目深度估计（与立体或多视角方法相区分）的系统性覆盖的问题。
• 基于精度、误差和推理速度等指标，对42种代表性MDE方法进行评估与比较。
• 回顾MDE在自运动估计、避障和场景理解等关键机器人任务中的应用。
• 识别并讨论新兴研究方向，包括实时性能、域适应性、半监督学习以及深度网络的可解释性。

提出的方法

• 系统性回顾了1970年至2021年间发表的197篇关于单目深度估计的同行评审论文。
• 将MDE方法划分为三大类：基于运动结构法（SfM）的方法、传统手工设计特征方法以及基于深度学习的方法。
• 采用标准指标（如平均绝对误差（MAE）、均方误差（MSE）和逆深度误差（IDE））评估性能，并在多个基准数据集上报告结果。
• 整理并总结了公开可用的数据集（如KITTI、NYU Depth v2、Cityscapes、ScanNet）以及领先模型的开源实现。
• 通过案例研究分析MDE在机器人中的集成应用，涵盖自运动估计、避障和场景理解。
• 对模型效率与精度进行对比分析，强调移动机器人平台上实时推理与预测质量之间的权衡。

实验结果

研究问题

• RQ1 从SfM和手工特征方法到基于深度学习的方法，单目深度估计在技术演进和性能趋势方面有哪些关键变化？
• RQ2 当前MDE方法在资源受限的移动机器人平台上如何平衡精度与实时推理性能？
• RQ3 在不同环境和应用场景下，比较MDE方法最有效的评估指标和基准数据集是什么？
• RQ4 单目深度估计在自运动估计、避障和场景理解方面如何提升机器人能力？
• RQ5 在域适应性、半监督学习和模型可解释性方面，推动MDE发展的最有前景的未来研究方向是什么？

主要发现

• 基于深度学习的MDE方法在多样场景下的精度和鲁棒性方面显著优于传统SfM和手工设计特征方法。
• 尽管精度高，最先进的深度学习模型通常计算成本较高，限制了其在资源受限机器人平台上的部署。
• 存在实时MDE方法，但其精度通常低于非实时方法，凸显了速度与精度之间持续存在的权衡。
• 公开可用的数据集（如KITTI、NYU Depth v2、Cityscapes）在多样性方面仍显不足，尤其在处理动态场景、遮挡以及极端光照或天气条件方面。
• 半监督学习与域适应技术在减少对昂贵真实标签数据依赖方面展现出巨大潜力，特别是在结合合成数据与真实世界数据时。
• 深度MDE网络的可解释性研究仍严重不足，极少有研究分析网络学习到的特征或表征，表明存在关键的研究空白。