[论文解读] Unsupervised Monocular Depth Estimation in Highly Complex Environments

Chaoqiang Zhao, Yang Tang+1 more|arXiv (Cornell University)|Jul 28, 2021

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种无监督图像到图像域自适应框架 ITDFA，用于在夜间及雨夜等高度复杂环境中进行单目深度估计，此时光度一致性会失效。通过联合特征空间与输出空间约束对白天预训练的深度模型进行适应，并引入图像质量感知的损失重加权机制，ITDFA 在无真实深度标签的情况下实现了最先进性能，显著提升了在低光照和雨天条件下的深度估计准确性。

ABSTRACT

With the development of computational intelligence algorithms, unsupervised monocular depth and pose estimation framework, which is driven by warped photometric consistency, has shown great performance in the daytime scenario. While in some challenging environments, like night and rainy night, the essential photometric consistency hypothesis is untenable because of the complex lighting and reflection, so that the above unsupervised framework cannot be directly applied to these complex scenarios. In this paper, we investigate the problem of unsupervised monocular depth estimation in highly complex scenarios and address this challenging problem by adopting an image transfer-based domain adaptation framework. We adapt the depth model trained on day-time scenarios to be applicable to night-time scenarios, and constraints on both feature space and output space promote the framework to learn the key features for depth decoding. Meanwhile, we further tackle the effects of unstable image transfer quality on domain adaptation, and an image adaptation approach is proposed to evaluate the quality of transferred images and re-weight the corresponding losses, so as to improve the performance of the adapted depth model. Extensive experiments show the effectiveness of the proposed unsupervised framework in estimating the dense depth map from highly complex images.

研究动机与目标

• 解决在夜间及雨夜等复杂环境中无监督单目深度估计失效的问题，此时光度一致性会崩溃。
• 克服现有无监督框架依赖光度一致性所带来的局限性，该方法在动态光照和低照度条件下会失效。
• 开发一种域自适应框架，将白天的深度知识迁移至夜间及雨夜场景，且无需真实标签。
• 通过引入质量感知的损失重加权机制，提升域自适应中不稳定的图像迁移质量的鲁棒性。
• 通过使用共享解码器与场景特定编码器，实现单目深度模型在多种环境条件下的实用化部署。

提出的方法

• 利用图像到图像翻译网络进行域自适应，将预训练的白天深度模型适应至夜间及雨夜场景。
• 在特征空间（通过特征级一致性损失）和输出空间（通过深度预测一致性损失）同时施加联合约束，以对齐不同域之间的表示。
• 引入一种质量感知的图像自适应模块，评估迁移图像的可靠性，并动态重加权光度损失，以减少劣质翻译带来的噪声。
• 采用两步自适应策略（白天 → 夜间 → 雨夜），以弥合较大的域间差距，提升在高度挑战性场景下的性能。
• 以完全无监督的方式训练整个框架，仅依赖单目图像序列和相机参数，无需成对图像或真实深度标签。
• 在所有适配模型中共享解码器，使系统能够在不同天气和光照条件下实现高效部署，适用于自动驾驶系统。

实验结果

研究问题

• RQ1 无监督单目深度估计能否在光度一致性失效的夜间及雨夜等高度复杂环境中有效扩展？
• RQ2 如何利用域自适应在无真实标签监督下，将深度知识从白天场景迁移至夜间场景？
• RQ3 特征空间与输出空间约束在提升深度估计域自适应性能方面分别起到什么作用？
• RQ4 图像迁移质量的不稳定性如何影响域自适应？是否可通过动态损失重加权加以缓解？
• RQ5 多步域自适应（如白天 → 夜间 → 雨夜）是否能提升在域间差距较大的场景下的性能？

主要发现

• 所提出的 ITDFA 框架在夜间场景下的深度估计性能优于当前最先进的无监督方法（如 monodepth2）。
• 在更具挑战性的雨夜场景中，ITDFA 的表现优于 monodepth2 以及直接从白天到雨夜训练的域自适应模型，证明了其鲁棒性。
• 两步自适应策略（ITDFA d2n2r）的性能优于直接自适应（ITDFA d2r），证实多步自适应能有效弥合大域间差距。
• 联合施加特征空间与输出空间约束的性能优于单独使用任一约束，其中输出空间约束在引导编码器学习方面尤为有效。
• 基于迁移图像质量进行损失重加权的图像自适应方法显著提升了深度估计精度并降低了误差，尤其在低光照和反光条件下效果明显。
• 通过共享解码器，该框架在多种环境条件下均保持高性能，实现了自动驾驶系统在多变天气与光照条件下的实用化部署。