[论文解读] NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction

Yusen Wang, Zongcheng Li+5 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Vision and Imaging被引用 4

一句话总结

NeuralRoom 是一种神经隐式表面重建方法，通过利用多视角立体深度和法线估计先验，减少室内场景重建中的形状-辐射度模糊性。通过引入扰动-残差正则化来施加几何约束，该方法实现了高保真度、完整的表面重建，显著提升了现有基于多视角的方法在 ScanNet 上的表现。

ABSTRACT

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

研究动机与目标

• 解决神经隐式表面重建中室内场景的形状-辐射度模糊性挑战。
• 在多视角立体方法失效的纹理缺失区域提升重建质量。
• 整合可靠的几何先验（深度和法线）以约束神经优化，避免陷入局部极小值。
• 通过扰动-残差正则化提升平面、低纹理区域的完整性和细节。
• 通过将 NeuralRoom 作为后处理优化模块集成，提升现有基于多视角重建流水线的性能。

提出的方法

• 使用多视角立体（MVS）结果作为深度先验，以约束神经隐式表面的优化空间。
• 整合神经法线估计输出作为几何先验，以指导纹理缺失区域的表面几何。
• 应用扰动-残差约束，强制实现局部表面一致性——邻域采样点应具有相似的法线和到相机中心的距离。
• 通过几何约束优化训练可微分渲染器，确保渲染视图与输入图像匹配。
• 采用双分支多层感知机（Geo-MLP 和 Color-MLP）从 3D 坐标预测有符号距离和颜色，其中几何先验用于正则化优化过程。
• 用先进的基于学习的深度估计方法（如 Atlas、NeuralRecon）替代传统深度估计（如 COLMAP），以提升先验质量并进一步增强重建性能。

实验结果

研究问题

• RQ1 来自多视角立体和法线估计的几何先验是否能减少神经隐式重建中室内场景的形状-辐射度模糊性？
• RQ2 如何通过强制实现局部表面一致性来提升纹理缺失区域的完整性和平滑度？
• RQ3 NeuralRoom 在多大程度上能提升现有基于多视角重建流水线的重建质量？
• RQ4 深度和法线先验的集成是否能提升在同时包含纹理和扁平表面的复杂室内场景中的泛化能力？
• RQ5 先验质量（如 COLMAP 与基于学习的方法）对最终重建保真度有何影响？

主要发现

• NeuralRoom 在 ScanNet 基准上实现了 66.756 的 F-score，显著优于 NeuS 和 Unisurf 等基线方法，尤其在纹理和纹理缺失区域的重建中表现更优。
• 扰动-残差正则化显著提升了平面区域的表面完整性和平滑度，减少了标准隐式方法中常见的伪影。
• 当应用于先进重建流水线（如 Atlas、NeuralRecon）时，NeuralRoom 将 F-score 提升高达 7.5%（从 68.347 提升至 73.003），证明了其强大的泛化能力和兼容性。
• 将 COLMAP 替换为基于学习的深度估计方法（如 Atlas）可使 F-score 从 68.347 提升至 73.003，证实了高质量先验的重要性。
• 即使在 MLP 容量降低（4+2 层）的情况下，NeuralRoom 仍能保持高重建质量，但更复杂的场景需要更大的网络。
• 由于仅使用 RGB 输入并依赖隐式学习，NeuralRoom 能成功重建通常被深度传感器遗漏的镜面和黑色表面。