[论文解读] Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video

Rui Wang, Jan‐Michael Frahm+1 more|arXiv (Cornell University)|May 17, 2018

Advanced Vision and Imaging参考文献 30被引用 9

一句话总结

该论文提出DenseSLAMNet，一种带有长短期记忆（LSTM）单元的循环神经网络（RNN），通过利用多帧之间的时序相关性，联合估计单目视频中的密集深度图和自身运动。该方法在大深度区域表现优于最先进的单帧和双帧卷积神经网络（CNN）深度估计模型，且在具有动态光照和形变场景的内窥镜视频等挑战性数据上具有良好的泛化能力。

ABSTRACT

Learning-based, single-view depth estimation often generalizes poorly to unseen datasets. While learning-based, two-frame depth estimation solves this problem to some extent by learning to match features across frames, it performs poorly at large depth where the uncertainty is high. There exists few learning-based, multi-view depth estimation methods. In this paper, we present a learning-based, multi-view dense depth map and ego-motion estimation method that uses Recurrent Neural Networks (RNN). Our model is designed for 3D reconstruction from video where the input frames are temporally correlated. It is generalizable to single- or two-view dense depth estimation. Compared to recent single- or two-view CNN-based depth estimation methods, our model leverages more views and achieves more accurate results, especially at large distances. Our method produces superior results to the state-of-the-art learning-based, single- or two-view depth estimation methods on both indoor and outdoor benchmark datasets. We also demonstrate that our method can even work on extremely difficult sequences, such as endoscopic video, where none of the assumptions (static scene, constant lighting, Lambertian reflection, etc.) from traditional 3D reconstruction methods hold.

研究动机与目标

• 为解决基于单帧和双帧的深度估计方法在大深度区域表现不佳且难以在不同数据集间泛化的局限性。
• 克服传统三维重建流程在假设场景静态、光照恒定和朗伯表面时的不足。
• 开发一种实时、端到端的基于学习的方法，联合估计单目视频序列中的密集深度和相机运动。
• 通过使用RNN显式建模多帧视频之间的时序依赖关系，提升深度估计的准确性。
• 在内窥镜视频等真实世界挑战性数据上展示方法的鲁棒性，这些数据不满足传统假设。

提出的方法

• 核心架构为一个按顺序处理视频帧的循环神经网络（RNN），每个时间步更新编码时序上下文的隐藏状态。
• 在神经网络中集成长短期记忆（LSTM）单元，以保留长距离时序依赖关系，并提升帧间特征表示能力。
• 通过监督学习端到端训练网络，为每个输入帧预测密集深度图和相机位姿。
• 通过将前一帧的隐藏状态输入当前帧的处理过程，保留时序信息，实现多视角推理。
• 模型采用类似U-Net的编码器-解码器结构，并通过跳跃连接优化密集深度预测。
• 在KITTI和SUN3D等数据集的视频序列上进行训练，使用真实深度和相机位姿作为监督信号。

实验结果

研究问题

• RQ1 基于RNN的架构能否有效利用多帧视频的时序信息，使密集深度估计性能超越单帧或双帧方法？
• RQ2 与简单帧堆叠相比，使用LSTM在深度估计精度和泛化能力方面表现如何？
• RQ3 所提出的方法能否泛化到具有不同图像分辨率、光照条件和场景动态特性的未见数据集？
• RQ4 在存在非朗伯反射和动态几何结构的内窥镜视频等高度挑战性的视频序列中，模型是否仍能保持性能？
• RQ5 与最先进的基于学习的方法相比，该方法在大距离范围内的深度估计精度提升程度如何？

主要发现

• DenseSLAMNet在室内（NYUDepthV2）和室外（Make3D）基准数据集上均达到最先进性能，优于DeMoN及其他基于CNN的方法。
• 在NYUDepthV2数据集上，DenseSLAMNet的Sc-inv为0.181，Abs-inv为0.071，Abs-rel为0.171，优于DeMoN的指标。
• 在Make3D数据集上，DenseSLAMNet的Sq-rel为2.404，Abs-rel为0.275，RMSE为6.476，log10为0.102，展现出对未见室外场景的强大泛化能力。
• 消融实验表明，使用LSTM显著提升性能（Sc-inv: 0.112），优于单帧CNN（0.131）和堆叠帧CNN（0.144），证明了时序建模的价值。
• 该模型即使在70米深度范围内，仍能生成保留树木、汽车和柱子等精细细节的高质量深度图。
• 该方法成功实现了在内窥镜视频中的深度和相机运动估计，这些场景中传统假设（如场景静态、光照恒定）不成立。