[论文解读] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

Peng Wang, Lingjie Liu+4 more|arXiv (Cornell University)|Jun 20, 2021

3D Shape Modeling and Analysis参考文献 36被引用 85

一句话总结

NeuS 通过将表面表示为神经隐式SDF的零水平集并用无偏、遮挡感知的体积渲染公式进行训练来重建高保真3D表面，从而在没有前景掩模的情况下实现表面重建。

ABSTRACT

We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.

研究动机与目标

• 在无前景掩模且不强依赖局部优化的情况下，推动鲁棒的多视角表面重建。
• 将表面表示为神经SDF的零水平集，以实现准确的几何提取。
• 开发一种无偏、遮挡感知的体积渲染公式，仅从二维图像训练 SDF。
• 在具有挑战性的数据集（DTU、BlendedMVS）上展示优越的重建质量，包括薄结构和严重遮挡。

提出的方法

• 将场景表示为 SDF f(x) 和颜色场 c(x, v)，通过 MLPs。
• 引入 S 密度 phi_s(f(x)) 作为 Logistic CDF 的导数，以使 SDF 的体积渲染成为可能。
• 定义一个不透明密度 rho(t)，使光线上的权重 w(t)=T(t)rho(t)，其中 T(t)=exp(-∫ rho)，在一阶 SDF 近似中是无偏的。
• 从 logistic CDF Phi_s 及其导数推导 rho(t)，确保 w(t) 在表面交点处达到峰值并考虑遮挡。
• 采用类似 NeRF 的采样对渲染进行离散化，并将颜色计算为加权样本的和；在训练时使用 Eikonal 正则化以及可选的掩模。
• 端到端训练以最小化与输入图像的颜色差异，可选的掩模损失和分层采样。

实验结果

研究问题

• RQ1 一个使用无偏、遮挡感知的体积渲染公式训练的神经 SDF，是否能够从未遮罩的多视图图像产生高保真表面？
• RQ2 在具有挑战性的数据集上，所提出的基于 SDF 的体积渲染与现有的基于表面的方法（IDR）和基于体积的方法（NeRF）相比如何？
• RQ3 所学习的表面在没有前景掩模的情况下，能否对自遮挡和薄结构保持鲁棒？

主要发现

• NeuS 在 DTU 和 BlendedMVS 上实现了比现有最先进方法（IDR、NeRF、UNISURF）更高的重建保真度，尤其是在复杂和遮挡的几何形态方面。
• 无偏的一阶体积渲染公式相较于朴素的体积渲染，在 SDF 的零水平集处提供了更好的表面定位。
• 消融研究表明，所提出的权重构造优于朴素和直接的方法，Eikonal 正则化加几何初始化提升 SDF 的质量。
• NeuS 在没有掩模监督的情况下也能准确重建薄结构和深度变化剧烈的场景，并且在部分纹理存在时仍然鲁棒。
• 定量结果（Chamfer 距离）表明在有掩模和无掩模设置下都对基线有一致的改进。