[论文解读] Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark

Kun Wang, Zhenyu Zhang+5 more|arXiv (Cornell University)|Aug 9, 2021

Advanced Vision and Imaging参考文献 54被引用 5

一句话总结

本文提出了一种专为夜间条件设计的自监督单目深度估计框架，引入了基于先验的正则化以利用未配对的深度分布稳定训练，采用映射一致的图像增强技术在不破坏亮度一致性的情况下提升可见度，并提出基于统计的掩码方法以动态处理无纹理区域。该方法在两个夜间基准测试中取得了最先进性能，显著减少了深度图中的孔洞和非平滑性等伪影。

ABSTRACT

Monocular depth estimation aims at predicting depth from a single image or video. Recently, self-supervised methods draw much attention since they are free of depth annotations and achieve impressive performance on several daytime benchmarks. However, they produce weird outputs in more challenging nighttime scenarios because of low visibility and varying illuminations, which bring weak textures and break brightness-consistency assumption, respectively. To address these problems, in this paper we propose a novel framework with several improvements: (1) we introduce Priors-Based Regularization to learn distribution knowledge from unpaired depth maps and prevent model from being incorrectly trained; (2) we leverage Mapping-Consistent Image Enhancement module to enhance image visibility and contrast while maintaining brightness consistency; and (3) we present Statistics-Based Mask strategy to tune the number of removed pixels within textureless regions, using dynamic statistics. Experimental results demonstrate the effectiveness of each component. Meanwhile, our framework achieves remarkable improvements and state-of-the-art results on two nighttime datasets.

研究动机与目标

• 解决现有自监督深度模型在夜间场景中因可见度低和光照变化而失效的问题。
• 克服无纹理区域和亮度不一致导致的光度一致性假设被破坏的问题，从而提升自监督训练的稳定性。
• 在不依赖标注深度数据的前提下，提升在黑暗、低可见度环境中的深度估计鲁棒性。
• 开发一种在保持几何一致性的同时增强图像质量以获得更好监督信号的框架。

提出的方法

• 提出基于先验的正则化（PBR），通过对抗训练从未配对的参考图像中学习深度分布，并将2D坐标作为输入以指导空间感知的正则化。
• 提出映射一致的图像增强（MCIE），在保持视频帧间亮度一致性的同时提升低光照图像的对比度和可见度。
• 设计基于统计的掩码（SBM），利用实时统计信息动态调整无纹理区域的掩码像素数量，相比固定阈值方法更具鲁棒性。
• 将PBR、MCIE和SBM整合为一个端到端的自监督框架，利用视频几何信息进行深度预测，无需真实深度监督。
• 在PBR中使用坐标图像 $I_p$ 建模空间先验，提升定位精度并减少训练不稳定性。
• 采用多阶段训练流程：MCIE增强输入帧，SBM掩码无纹理区域，PBR利用学习到的先验对深度预测进行正则化。

实验结果

研究问题

• RQ1 如何使自监督深度估计在夜间场景中对低可见度和无纹理区域更具鲁棒性？
• RQ2 来自未配对参考图像的先验深度分布在多大程度上能提升训练稳定性和深度质量？
• RQ3 能否使图像增强在视频帧之间保持一致，以在自监督深度学习中维持光度一致性？
• RQ4 如何自适应地控制无纹理区域的掩码像素数量，以减少深度歧义？
• RQ5 结合正则化、增强和动态掩码是否能带来夜间深度估计基准上的最先进性能？

主要发现

• 完整方法在RobotCar-Night数据集上达到相对绝对误差（Abs Rel）0.121，相比MonoDepth2的0.400降低了70%，显著提升性能。
• 在nuScenes-Night数据集上，Abs Rel从基线的1.185（MonoDepth2）降低至0.315，改善73.4%，且Sq Rel相比基线降低91.2%。
• 仅使用基于先验的正则化（PBR）即可在RobotCar-Night上使Sq Rel降低92.8%，在nuScenes-Night上降低90.2%，证明其对训练稳定性的强大影响。
• 在PBR中引入坐标图像 $I_p$ 后，RobotCar-Night的Sq Rel改善11.6%，nuScenes-Night改善15.1%，验证了空间先验的重要性。
• 消融实验表明，PBR、MCIE和SBM三个模块均独立且累积贡献性能，完整模型优于任一变体。
• 定性结果表明，深度图更清晰、更准确，孔洞更少，预测更平滑，尤其在黑暗和闪烁光照区域表现更优。