[论文解读] NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

Jiaming Sun, Yiming Xie+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Vision and Imaging参考文献 54被引用 4

一句话总结

NeuralRecon 提出了一种基于学习的实时3D重建系统，通过3D稀疏卷积和基于GRU的融合模块，直接对局部视频片段预测稀疏TSDF体素，实现从单目视频在33 FPS下密集、一致且精确的3D几何重建——在速度和精度上超越了先前方法，是首个利用深度学习实现实时、一致重建的方法。

ABSTRACT

We present a novel framework named NeuralRecon for real-time 3D scene reconstruction from a monocular video. Unlike previous methods that estimate single-view depth maps separately on each key-frame and fuse them later, we propose to directly reconstruct local surfaces represented as sparse TSDF volumes for each video fragment sequentially by a neural network. A learning-based TSDF fusion module based on gated recurrent units is used to guide the network to fuse features from previous fragments. This design allows the network to capture local smoothness prior and global shape prior of 3D surfaces when sequentially reconstructing the surfaces, resulting in accurate, coherent, and real-time surface reconstruction. The experiments on ScanNet and 7-Scenes datasets show that our system outperforms state-of-the-art methods in terms of both accuracy and speed. To the best of our knowledge, this is the first learning-based system that is able to reconstruct dense coherent 3D geometry in real-time.

研究动机与目标

• 解决基于深度的重建流水线在逐帧估计深度图并后期融合时存在的不一致性和冗余性问题。
• 利用深度学习实现实时、密集且全局一致的单目视频流3D重建。
• 通过在局部视频片段内联合重建表面，克服由独立单视角深度估计导致的尺度不一致和几何伪影。
• 引入一种可微分的循环融合机制，将当前重建结果基于先前重建的全局几何进行条件化，以确保时空一致性。
• 在保持高重建精度的同时实现33 FPS的实时性能，超越现有的基于学习和非基于学习的方法。

提出的方法

• 使用2D图像编码器处理单目视频帧以提取特征，随后将这些特征反投影到3D稀疏特征体素中。
• 应用从粗到精的3D稀疏卷积网络，为每个局部视频片段预测稀疏TSDF体素，学习局部平滑性和全局形状先验。
• 使用门控循环单元（GRU）将当前片段的特征与先前重建几何的隐藏状态进行融合，实现上下文感知的序列化重建。
• 融合操作在占据体素（OCC）或片段的边界框体素（FBV）内进行，其中FBV能更好地整合上下文信息并减少伪影。
• 利用基于GRU的融合模块，选择性地整合时间上一致的几何信息，相比线性或平均融合方法，显著提升了鲁棒性和完整性。
• 在融合后的TSDF体素上使用Marching Cubes算法重建最终表面，便于直接用于下游任务如3D检测和神经渲染。

Figure 1: Comparison between depth-based 3D reconstruction methods and the proposed method. In depth-based methods, key-frame depths are estimated separately from each key frame, and later fused into a TSDF volume. In the proposed method, the TSDF volume is directly predicted with all the key frames

实验结果

研究问题

• RQ1 基于深度学习的系统能否实现实时联合重建与融合3D几何，避免传统方法中分离估计深度图与后期融合的缺陷？
• RQ2 与传统的线性或平均融合相比，基于GRU的循环融合模块在保持全局一致性和提升重建质量方面效果如何？
• RQ3 在局部视频片段内进行重建（而非整个场景）是否能提升几何一致性并减少远距离或无关视角带来的噪声？
• RQ4 稀疏的、从粗到精的3D CNN架构能否在消费级硬件上实现高保真度重建并保持实时推理速度？
• RQ5 与直接融合TSDF相比，使用特征融合在多大程度上提升了重建精度和完整性？

主要发现

• NeuralRecon 实现了33帧/秒的处理速度，约为先前SOTA方法Atlas的10倍，同时保持了更优的精度。
• 在ScanNet数据集上，使用9帧片段时，该方法的3D F-score达到0.516，优于所有基于深度图和体素的基线方法。
• 与平均或线性融合相比，采用基于GRU的融合使召回率提升4%（从0.535提升至0.572），并显著改善了墙面和家具等复杂表面的网格完整性。
• 在片段边界框体素（FBV）内进行融合的F-score比在占据体素（OCC）内融合高出6.5%，证明了在边界处进行上下文整合的优势。
• 定性对比显示，该方法生成的几何结构比Atlas和基于深度图的基线方法更清晰、更一致，伪影更少，且各视角间尺度保持一致。
• 消融研究证实，将片段长度从5帧增加到9帧，F-score提升超过2%，表明每段内更多视角有助于提升重建精度。

Figure 2: NeuralRecon architecture. NeuralRecon predicts TSDF with a three-level coarse-to-fine approach that gradually increases the density of sparse voxels. Key-frame images in the local fragment are first passed through the image backbone to extract the multi-level features. These image features