[论文解读] Multiview Neural Surface Reconstruction with Implicit Lighting and Material

Lior Yariv, Yoni Kasten+5 more|arXiv (Cornell University)|Mar 22, 2020

Computer Graphics and Visualization Techniques参考文献 35被引用 11

一句话总结

本文提出了一种神经网络，能够联合学习三维表面几何、相机参数以及一种神经渲染器，该渲染器能够隐式建模多样的光照和材质。通过将几何表示为零水平集，并使用从渲染方程推导出的可微分渲染器，该方法在DTU MVS数据集上实现了高保真度和细节的最先进3D重建结果。

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

研究动机与目标

• 解决在不同光照和材质条件下多视角3D表面重建的挑战。
• 在端到端可微分框架中联合优化未知几何、相机参数和神经渲染器。
• 实现在具有噪声相机初始值的真实图像上的高保真度3D重建。
• 通过学习到的神经表示隐式建模多样的光照条件和材质属性，而无需显式先验指定。

提出的方法

• 几何通过神经网络的零水平集表示，实现隐式表面重建。
• 从渲染方程推导出神经渲染器，以模拟从表面到相机的光传输。
• 在DTU MVS数据集的多视角图像上端到端训练网络，光照和材质条件各不相同。
• 在训练过程中与几何和材质表示联合优化相机参数。
• 通过学习到的神经表示隐式建模材质属性和光照。
• 可微分渲染使反向传播能够通过渲染过程，实现联合优化。

实验结果

研究问题

• RQ1 一个单一的神经网络能否联合优化几何、相机参数和神经渲染器以实现多视角3D重建？
• RQ2 与显式或固定模型相比，对光照和材质的隐式建模在多大程度上能提升重建保真度？
• RQ3 该方法在多大程度上能处理噪声相机初始值和真实图像的差异？
• RQ4 对材质和光照的隐式表示是否能带来更真实、更细致的重建结果？
• RQ5 在DTU MVS等基准数据集上，该方法与最先进方法相比表现如何？

主要发现

• 该方法在DTU MVS数据集上实现了最先进的3D表面重建质量。
• 即使在相机初始值存在噪声的情况下，仍能生成高保真度、高分辨率的重建结果。
• 该模型能有效泛化到多样的材质属性和光照条件。
• 隐式神经渲染器能够准确模拟复杂的光-表面相互作用。
• 几何、相机和渲染的联合优化显著提升了重建的细节和准确性。