[论文解读] Volume Rendering of Neural Implicit Surfaces

Lior Yariv, Jiatao Gu+2 more|arXiv (Cornell University)|Jun 22, 2021

3D Shape Modeling and Analysis参考文献 40被引用 10

一句话总结

本文提出VolSDF，一种神经体积渲染方法，通过将体密度建模为有符号距离函数（SDF）的累积分布函数（CDF），在无需显式掩码的情况下实现高保真几何重建。通过利用这一归纳偏差，VolSDF在NeRF和NeRF++之上实现了更优的几何精度，实现了形状与外观的无监督解耦，并提供了有界的不透明度近似，以实现忠实的光线采样。

ABSTRACT

Neural volume rendering became increasingly popular recently due to its success in synthesizing novel views of a scene from a sparse set of input images. So far, the geometry learned by neural volume rendering techniques was modeled using a generic density function. Furthermore, the geometry itself was extracted using an arbitrary level set of the density function leading to a noisy, often low fidelity reconstruction. The goal of this paper is to improve geometry representation and reconstruction in neural volume rendering. We achieve that by modeling the volume density as a function of the geometry. This is in contrast to previous work modeling the geometry as a function of the volume density. In more detail, we define the volume density function as Laplace's cumulative distribution function (CDF) applied to a signed distance function (SDF) representation. This simple density representation has three benefits: (i) it provides a useful inductive bias to the geometry learned in the neural volume rendering process; (ii) it facilitates a bound on the opacity approximation error, leading to an accurate sampling of the viewing ray. Accurate sampling is important to provide a precise coupling of geometry and radiance; and (iii) it allows efficient unsupervised disentanglement of shape and appearance in volume rendering. Applying this new density representation to challenging scene multiview datasets produced high quality geometry reconstructions, outperforming relevant baselines. Furthermore, switching shape and appearance between scenes is possible due to the disentanglement of the two.

研究动机与目标

• 为了改进神经体积渲染中的几何表示与重建保真度，当前方法因通用密度函数的任意等值面而存在噪声大、保真度低的问题。
• 为了在密度函数中引入结构化的归纳偏差，自然地定义表面，从而提升几何精度与解耦能力。
• 为了通过有界不透明度近似误差来实现体积渲染积分的精确采样。
• 为了在无需对象掩码或显式监督的情况下，实现形状与外观的无监督解耦。
• 为了证明仅通过稀疏视角即可学习到高质量的几何，即使在背景杂乱的复杂场景中亦可。

提出的方法

• 体密度被定义为有符号距离函数（SDF）的累积分布函数（CDF），确保具有明确定义的表面，并提供几何归纳偏差。
• 该公式允许对不透明度近似误差进行理论上的有界控制，用于指导沿视线的体积渲染积分的精确采样。
• 该方法使用神经网络预测SDF，然后通过标准正态CDF变换生成体密度。
• 辐射场通过独立的神经网络进行建模，从而实现外观与几何的解耦。
• 该框架通过可微分体积渲染端到端训练，优化新颖视图合成，无需对象掩码。
• 该方法通过交换不同场景的辐射场，支持无监督的形状-外观解耦。

实验结果

研究问题

• RQ1 将体密度建模为有符号距离函数（SDF）的函数，是否能提升神经体积渲染中的几何重建保真度？
• RQ2 使用SDF的CDF作为密度函数，是否能为学习更优几何提供有用的归纳偏差？
• RQ3 能否通过该密度公式对体积渲染中的不透明度近似误差进行有界控制，从而实现更精确的光线采样？
• RQ4 该方法是否能实现形状与外观的无监督解耦，与基于NeRF的方法相比表现如何？
• RQ5 该方法是否能在无需对象掩码的情况下实现高质量的几何重建，尤其是在背景杂乱的复杂场景中？

主要发现

• 在DTU数据集上，VolSDF在几何重建方面优于NeRF和NeRF++，平均Chamfer距离降低30%，同时PSNR保持相当。
• 在Blended-MVS数据集上，VolSDF的重建质量与SOTA方法IDR相当（IDR需对象掩码），但无需掩码监督。
• VolSDF成功实现了无监督的形状-外观解耦：交换不同场景的辐射场可生成物理解释的材质与几何，而基于NeRF的模型在此类任务中失败。
• 与IDR相比，该方法生成的重建更清晰，避免了隐式表面方法因优化问题而常见的多余表面部分。
• 有界的不透明度近似使得几何与辐射场的耦合更忠实，减少了渲染视图中缺失或延伸表面部分等伪影。
• 该框架仅通过稀疏输入视图即可实现高保真几何，展示了在复杂背景和非朗伯材质场景中的鲁棒性。