[论文解读] Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction

Tong Wu, Jiaqi Wang+5 more|arXiv (Cornell University)|Aug 26, 2022

3D Shape Modeling and Analysis被引用 31

一句话总结

Voxurf 提供一个基于体素的管线，用于高效且准确的神经表面重建，在训练速度方面比最先进的隐式方法快约20倍，同时提高表面保真度和视图合成质量。

ABSTRACT

Neural surface reconstruction aims to reconstruct accurate 3D surfaces based on multi-view images. Previous methods based on neural volume rendering mostly train a fully implicit model with MLPs, which typically require hours of training for a single scene. Recent efforts explore the explicit volumetric representation to accelerate the optimization via memorizing significant information with learnable voxel grids. However, existing voxel-based methods often struggle in reconstructing fine-grained geometry, even when combined with an SDF-based volume rendering scheme. We reveal that this is because 1) the voxel grids tend to break the color-geometry dependency that facilitates fine-geometry learning, and 2) the under-constrained voxel grids lack spatial coherence and are vulnerable to local minima. In this work, we present Voxurf, a voxel-based surface reconstruction approach that is both efficient and accurate. Voxurf addresses the aforementioned issues via several key designs, including 1) a two-stage training procedure that attains a coherent coarse shape and recovers fine details successively, 2) a dual color network that maintains color-geometry dependency, and 3) a hierarchical geometry feature to encourage information propagation across voxels. Extensive experiments show that Voxurf achieves high efficiency and high quality at the same time. On the DTU benchmark, Voxurf achieves higher reconstruction quality with a 20x training speedup compared to previous fully implicit methods. Our code is available at https://github.com/wutong16/Voxurf.

研究动机与目标

• 推动将显式体素表示与精确几何结合的高效神经表面重建。
• 识别朴素的体素+SDF基线在保留细节几何和颜色-几何依赖方面的局限。
• 提出结构创新，在保持颜色-几何耦合的同时实现连贯、细致的表面。
• 引入两阶段训练范式与正则化，推动从粗到细的细化与平滑性。
• 在 DTU 和 BlendedMVS 基准测试上展示最先进的性能和速度。

提出的方法

• 采用显式体积表征，具有 SDF 体素网格和可学习特征体素网格。
• 采用两阶段训练过程：粗略形状初始化随后进行细几何优化。
• 引入一个双通道颜色网络，将几何引导的颜色学习与特征驱动的颜色细化分离。
• 结合分层几何特征，聚合多尺度的 SDF 信息与梯度，将细节跨体素传播。
• 应用光滑性先验，包括基于高斯的平滑和对 SDF 网格的总变差（TV）损失。
• 在重构损失基础上加入正则化项，以实现表面平滑和几何的一致性。

实验结果

研究问题

• RQ1 基于体素的显式表示是否能够在显著减少训练时间的同时实现高质量表面重建，相较于完全隐式方法？
• RQ2 结构选择（双通道颜色网络、分层几何特征）如何影响颜色-几何依赖和表面细节学习？
• RQ3 哪种训练策略和正则化最有利于在基于体素的表面重建中实现连贯的粗糙形状和光滑的细节？
• RQ4 在标准基准测试（DTU、BlendedMVS）上，Voxurf 在表面重建和新视图合成方面的表现如何？
• RQ5 在本设置中，使用带有 SDF 渲染的体素网格时，速度与保真度之间的权衡是什么？

主要发现

• 相比 NeuS 实现约 20x 的加速，单张 Nvidia A100 GPU 的训练时间约为 15 分钟。
• 在 DTU 的表面重建质量和新视图合成指标上超越最先进的基线。
• 保留高频几何细节，且相比 prior 的基于体素和隐式方法，改善了图像渲染质量。
• 双通道颜色网络和分层几何特征协同提升几何保真度与颜色准确性，使形状连贯、表面细节丰富。
• 后处理和光滑性先验进一步提升表面平滑性与视觉质量。