[论文解读] NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors

Jiepeng Wang, Peng Wang+5 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Vision and Imaging被引用 4

一句话总结

NeuRIS 提出了一种用于室内场景的神经重建方法，通过自适应地整合估计的表面法线先验，提升无纹理区域的几何质量，同时保留复杂结构中的精细细节。通过在优化过程中动态验证法线先验的一致性（基于多视角一致性），该方法在最先进的方法中实现了更优的重建质量，尤其在大面积光滑表面和细长结构上表现突出。

ABSTRACT

Reconstructing 3D indoor scenes from 2D images is an important task in many computer vision and graphics applications. A main challenge in this task is that large texture-less areas in typical indoor scenes make existing methods struggle to produce satisfactory reconstruction results. We propose a new method, named NeuRIS, for high quality reconstruction of indoor scenes. The key idea of NeuRIS is to integrate estimated normal of indoor scenes as a prior in a neural rendering framework for reconstructing large texture-less shapes and, importantly, to do this in an adaptive manner to also enable the reconstruction of irregular shapes with fine details. Specifically, we evaluate the faithfulness of the normal priors on-the-fly by checking the multi-view consistency of reconstruction during the optimization process. Only the normal priors accepted as faithful will be utilized for 3D reconstruction, which typically happens in the regions of smooth shapes possibly with weak texture. However, for those regions with small objects or thin structures, for which the normal priors are usually unreliable, we will only rely on visual features of the input images, since such regions typically contain relatively rich visual features (e.g., shade changes and boundary contours). Extensive experiments show that NeuRIS significantly outperforms the state-of-the-art methods in terms of reconstruction quality.

研究动机与目标

• 解决在大面积无纹理区域（如墙壁和地板）的室内场景中 3D 重建质量差的问题。
• 通过将法线先验作为全局几何约束，提升神经表面重建的几何保真度。
• 实现对大平面表面和细小或细长结构中精细细节的高质量重建。
• 开发一种机制，自适应地在复杂几何或视觉特征丰富的区域禁用不可靠的法线先验。
• 在不依赖显式体积表示的前提下，减少神经渲染中的形状-辐射模糊性及伪影。

提出的方法

• 使用预训练的单目法线估计网络从输入图像中估计法线图。
• 在神经渲染框架中将法线先验作为几何监督，以指导 3D 表面优化。
• 采用实时多视角一致性检查，在训练过程中评估法线先验的可靠性。
• 在多视角一致性被违反的区域，动态禁用法线先验，转而依赖视觉外观特征。
• 使用可微分的神经体积表示（基于 NeuS）实现端到端优化，同时结合外观和几何约束。
• 应用几何检查机制，过滤掉细长结构或尖锐边缘区域中的不准确法线。

实验结果

研究问题

• RQ1 当作为几何先验使用时，法线先验是否能提升无纹理室内场景的 3D 重建质量？
• RQ2 如何自适应地使用法线先验，以避免在复杂或精细几何细节区域导致重建质量下降？
• RQ3 多视角一致性能否作为评估估计法线图可靠性的可靠标准？
• RQ4 结合外观特征与自适应法线先验，是否能获得优于单独使用任一方法的重建效果？
• RQ5 该方法是否能在无需前景分割或预处理的情况下，同时重建大平面表面和细长结构？

主要发现

• NeuRIS 在 ShapeNet-8 基准测试中取得 0.046 的 F-score，优于基线方法 NeuS（0.050）以及结合两种先验与几何检查的方法（0.053）。
• 消融实验表明，加入几何检查机制后，F-score 从 0.724 提升至 0.736，证明其在去除不可靠法线方面的有效性。
• NeuRIS 能够成功重建细长结构（如椅子腿和书桌角），而标准 NeuS 及使用朴素法线先验的 NeuS 因法线不准确而失败。
• 该方法在保持小物体精细细节的同时，实现了对大面积、光滑、无纹理区域（如地板和墙壁）的高质量重建。
• 几何检查机制能有效识别并禁用具有尖锐特征或复杂形状区域中的错误法线先验，从而获得无伪影的结果。
• 在定量指标和定性结果上，NeuRIS 均优于当前最先进方法，尤其在边缘和细长结构等感知关键区域表现更优。