[论文解读] Neural 3D Scene Reconstruction with the Manhattan-world Assumption

Haoyu Guo, Sida Peng+5 more|arXiv (Cornell University)|May 5, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种新颖的神经3D场景重建方法，通过将曼哈顿世界假设融入隐式神经表示，以提升低纹理室内场景中的几何重建质量。通过在3D空间中联合优化符号距离函数与语义标签，并引入一种新型损失函数，该方法在平面区域实现了更优的重建质量与语义一致性，尤其在ScanNet和7-Scenes数据集上超越了当前最先进方法。

ABSTRACT

This paper addresses the challenge of reconstructing 3D indoor scenes from multi-view images. Many previous works have shown impressive reconstruction results on textured objects, but they still have difficulty in handling low-textured planar regions, which are common in indoor scenes. An approach to solving this issue is to incorporate planer constraints into the depth map estimation in multi-view stereo-based methods, but the per-view plane estimation and depth optimization lack both efficiency and multi-view consistency. In this work, we show that the planar constraints can be conveniently integrated into the recent implicit neural representation-based reconstruction methods. Specifically, we use an MLP network to represent the signed distance function as the scene geometry. Based on the Manhattan-world assumption, planar constraints are employed to regularize the geometry in floor and wall regions predicted by a 2D semantic segmentation network. To resolve the inaccurate segmentation, we encode the semantics of 3D points with another MLP and design a novel loss that jointly optimizes the scene geometry and semantics in 3D space. Experiments on ScanNet and 7-Scenes datasets show that the proposed method outperforms previous methods by a large margin on 3D reconstruction quality. The code is available at https://zju3dv.github.io/manhattan_sdf.

研究动机与目标

• 解决室内场景中常见于低纹理平面区域（如地板和墙壁）的3D重建质量差的问题。
• 克服多视角立体视觉（MVS）方法仅对每个视角优化深度图所导致的深度与平面估计不一致的局限。
• 利用曼哈顿世界假设，在隐式神经表示学习过程中强制平面区域的几何一致性。
• 通过将3D语义与几何联合优化，提升语义分割精度，减少跨视角的噪声与不一致。
• 通过在统一的隐式表示框架中从多视角图像学习，实现全局一致的3D重建与分割。

提出的方法

• 使用多层感知机（MLP）表示3D场景，为任意3D点预测符号距离函数（SDF）、颜色和语义logits。
• 通过在输入图像上应用2D语义分割网络（如DeepLabV3+）初始化语义logits。
• 通过正则化地板和墙面区域的表面法线，使其与三个主要正交方向对齐，以强制实施曼哈顿世界假设。
• 引入一种新型联合优化损失，同时在3D空间中优化SDF几何与语义logits，以纠正不准确的2D分割结果。
• 使用可微分体素渲染，将渲染图像与输入图像进行比较，从而基于光度一致性实现端到端训练。
• 在训练过程中通过在所有输入视角上联合优化几何与语义，实现多视角一致性。

实验结果

研究问题

• RQ1 曼哈顿世界假设能否有效整合到基于隐式神经表示的3D重建中，以提升平面区域的重建效果？
• RQ2 与单独优化相比，3D几何与语义的联合优化在多大程度上提升了重建质量与分割精度？
• RQ3 所提出方法在多视角间在多大程度上减少了语义分割中的噪声与不一致性？
• RQ4 几何与语义的联合优化是否带来了更低纹理平面区域更准确、更完整的重建？
• RQ5 在重建精度、召回率以及新视角合成质量方面，该方法与当前最先进MVS和神经渲染方法相比表现如何？

主要发现

• 所提方法在ScanNet和7-Scenes数据集上实现了最先进的3D重建质量，尤其在平面区域显著提升了精度与召回率。
• 在ScanNet上，该方法在重建准确性和完整性方面均优于COLMAP、NeRF、UNISURF、NeuS和VolSDF，尤其在无纹理区域表现更优。
• 地板区域的语义分割IoU从0.532（DeepLabV3+）提升至0.624，墙面区域从0.475提升至0.518，显著增强了分割的一致性与准确性。
• 语义与几何的联合优化显著减少了跨视角中噪声与不一致的分割标签，尤其在物体边界附近效果明显。
• 新视角合成结果表明，由于几何保真度更高，该方法生成的图像质量优于NeRF和VolSDF，即使在远离训练视角的视图中亦然。
• 该方法在保持非平面区域高保真细节的同时，显著提升了平面结构的重建质量，展现出良好的鲁棒性与泛化能力。