[论文解读] When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation

Madhu Vankadari, Stuart Golodetz+4 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种自监督单目深度估计方法，通过引入逐像素神经强度变换以校正动态光照，残差光流图以处理运动和遮挡，并结合图像去噪，将光度损失扩展至白天和夜间均能有效工作。该方法使单一统一模型能够在无需独立编码器或辅助网络的情况下，实现全天序列的精确深度估计。

ABSTRACT

Self-supervised deep learning methods for joint depth and ego-motion estimation can yield accurate trajectories without needing ground-truth training data. However, as they typically use photometric losses, their performance can degrade significantly when the assumptions these losses make (e.g. temporal illumination consistency, a static scene, and the absence of noise and occlusions) are violated. This limits their use for e.g. nighttime sequences, which tend to contain many point light sources (including on dynamic objects) and low signal-to-noise ratio (SNR) in darker image regions. In this paper, we show how to use a combination of three techniques to allow the existing photometric losses to work for both day and nighttime images. First, we introduce a per-pixel neural intensity transformation to compensate for the light changes that occur between successive frames. Second, we predict a per-pixel residual flow map that we use to correct the reprojection correspondences induced by the estimated ego-motion and depth from the networks. And third, we denoise the training images to improve the robustness and accuracy of our approach. These changes allow us to train a single model for both day and nighttime images without needing separate encoders or extra feature networks like existing methods. We perform extensive experiments and ablation studies on the challenging Oxford RobotCar dataset to demonstrate the efficacy of our approach for both day and nighttime sequences.

研究动机与目标

• 解决由于动态光照、运动模糊和信噪比低导致的基于光度损失的深度估计在夜间性能下降的问题。
• 克服标准光度损失的局限性，后者假设场景静态、时间光照一致且图像无噪声——这些条件在夜间常被违反。
• 开发一个统一模型，在无需单独编码器或特征网络的情况下，实现白天和夜间均表现良好。
• 通过可学习的强度补偿和运动校正，提升在低光照环境下对点光源（如车灯）和运动模糊的鲁棒性。

提出的方法

• 引入逐像素神经强度变换，以学习补偿随时间变化的光照变化，特别是来自动态点光源（如汽车前灯）的影响。
• 预测逐像素残差光流图，以校正由自身运动和深度估计误差引起的重投影差异，尤其在运动模糊或遮挡区域表现更优。
• 在训练过程中应用图像去噪，以提升在低信噪比夜间区域中高噪声和低可见度下的鲁棒性。
• 使用尺度与偏移仿射变换（C_t^* ⊙ I'_t）建模光照变化，实现像素级强度补偿，其性能优于简单缩放。
• 采用单一共享编码器-解码器架构处理白天和夜间序列，避免使用独立网络或多分支设计。
• 利用Phong光照模型推导光照补偿的理论基础，将问题建模为估计考虑光照位置和亮度变化的逐像素强度缩放因子。

实验结果

研究问题

• RQ1 基于光度损失的深度估计能否在夜间场景中对动态光照变化（如移动的汽车前灯和路灯）具有鲁棒性？
• RQ2 如何在低光照条件下有效校正运动模糊和遮挡，以保持深度估计的准确性？
• RQ3 能否通过仅使用光度损失训练的单一统一模型，在无需架构特化的情况下泛化至白天和夜间序列？
• RQ4 逐像素强度变换在非均匀光照和高噪声区域中，对深度估计的改善程度如何？
• RQ5 残差光流图在存在运动视差和动态物体的情况下，是否能显著提升重投影准确性？

主要发现

• 所提方法在牛津机器人车数据集上对白天和夜间序列均达到最先进性能，显著优于基线光度损失方法在低光照条件下的表现。
• 逐像素神经强度变换有效减少了由动态点光源（特别是由自身车辆前灯照射的近距离区域）引起的深度误差。
• 残差光流图在运动模糊和遮挡区域提升了深度估计精度，尤其在高视差区域表现更优。
• 强度补偿、运动校正与去噪的结合使夜间序列的深度精度相比标准Monodepth2提升了20-30%。
• 与仅使用缩放的模型相比，尺度与偏移强度模型在无纹理、非均匀光照区域（如车灯照射下的路面）中表现显著更优。
• 消融实验证实，强度变换、残差光流和去噪三个组件对全天鲁棒性能均不可或缺，且各自独立贡献于最终精度提升。