[论文解读] Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth

Guangkai Xu, Wei Yin+5 more|arXiv (Cornell University)|Feb 3, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出一种局部加权线性回归方法，用于恢复单目视频深度估计中的尺度和偏移，确保帧间尺度一致性。通过利用稀疏锚点点并基于630万张RGBD图像进行训练，该方法在零样本基准上将最先进方法的性能提升高达50%，并实现了仅使用每帧预测即可进行精确的3D场景重建。

ABSTRACT

Existing monocular depth estimation methods have achieved excellent robustness in diverse scenes, but they can only retrieve affine-invariant depth, up to an unknown scale and shift. However, in some video-based scenarios such as video depth estimation and 3D scene reconstruction from a video, the unknown scale and shift residing in per-frame prediction may cause the depth inconsistency. To solve this problem, we propose a locally weighted linear regression method to recover the scale and shift with very sparse anchor points, which ensures the scale consistency along consecutive frames. Extensive experiments show that our method can boost the performance of existing state-of-the-art approaches by 50% at most over several zero-shot benchmarks. Besides, we merge over 6.3 million RGBD images to train strong and robust depth models. Our produced ResNet50-backbone model even outperforms the state-of-the-art DPT ViT-Large model. Combining with geometry-based reconstruction methods, we formulate a new dense 3D scene reconstruction pipeline, which benefits from both the scale consistency of sparse points and the robustness of monocular methods. By performing the simple per-frame prediction over a video, the accurate 3D scene shape can be recovered.

研究动机与目标

• 解决单目深度估计在视频帧之间的尺度和偏移不一致性问题。
• 提升从单目视频进行3D场景重建的鲁棒性和准确性。
• 开发一种可扩展的流程，将尺度一致的稀疏点与单目深度模型相结合。
• 在630万张RGBD图像上训练强大的深度模型，以提升泛化能力。

提出的方法

• 使用局部加权线性回归技术，从连续视频帧中的极稀疏锚点中估计尺度和偏移。
• 通过利用这些稀疏锚点对齐帧间深度预测，该方法实现尺度一致性。
• 构建了一个包含超过630万张RGBD图像的大规模数据集，用于预训练具有ResNet50主干的鲁棒深度模型。
• 将训练好的深度模型与基于几何的重建方法结合，生成密集的3D场景。
• 以每帧的单目深度预测作为输入，通过所提出的回归方法应用尺度校正。
• 最终流程可在无需显式多视角几何或显式深度监督的情况下，实现精确的3D重建。

实验结果

研究问题

• RQ1 如何有效校正连续帧之间单目视频深度估计中的尺度和偏移不一致性？
• RQ2 尺度一致性在多大程度上能提升从单目视频进行3D场景重建的准确性？
• RQ3 大规模RGBD数据集能否显著增强单目深度模型的鲁棒性？
• RQ4 所提出的方法是否能在无需微调的零样本基准上超越最先进模型？
• RQ5 当与尺度校正结合时，简单的每帧预测流程能否实现高保真度的3D重建？

主要发现

• 所提出的方法在零样本基准上将现有最先进深度估计模型的性能提升了高达50%。
• 在630万张RGBD图像上训练的ResNet50主干模型优于最先进DPT ViT-Large模型。
• 通过稀疏锚点实现的尺度一致性显著提升了3D场景重建质量。
• 该方法仅使用每帧的单目深度预测即可实现精确的密集3D重建。
• 该流程在多样化场景中保持鲁棒性，同时实现了高几何保真度。