[论文解读] Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance

Lior Yariv, Yoni Kasten+5 more|arXiv (Cornell University)|Mar 22, 2020

Computer Graphics and Visualization Techniques被引用 345

一句话总结

本文提出 IDR，一种端到端神经体系结构，联合学习几何（作为神经隐式曲面）、外观和相机参数，在不同照明和材质下从带遮罩的二维图像实现高保真多视图3D重建。

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

研究动机与目标

• 从带遮罩的二维图像中重建三维几何，使用粗略或未知的相机姿态且无需额外监督。
• 将几何表示为神经零水平集（SDF），并学习一个神经渲染器以在多变照明下呈现外观。
• 通过以表面法线和视方向为条件，使几何与外观实现解耦。
• 通过引入一个全局几何特征向量来告知渲染，从而处理全局照明效应。

提出的方法

• 将几何表示为神经网络 f 的零水平集，解释为符号距离函数（SDF）。
• 使用一个隐式可微分渲染器 M 将表面光场建模为表面点、法线、观察方向，以及一个全局几何特征向量的函数。
• 通过可微的前向模型 Lp(θ,γ,τ)=M(x̂p, n̂p, ẑp, vp; γ) 计算像素颜色，并端到端训练参数 θ（几何）、γ（外观）和 τ（相机）。
• 在光线与表面之间引入一个可微分的交点 X̂(θ,τ)，使用神经统一表示以在优化中保持精确的一阶导数行为。
• 结合基于掩码的损失，利用隐式几何正则化（IGR）来鼓励合理的曲面。
• 用高频输入映射和全局特征向量增强渲染器，以捕捉间接照明和场景级效应。

实验结果

研究问题

• RQ1 一个端到端可微分管线是否能够从带遮罩的二维图像中联合恢复几何、外观和相机参数？
• RQ2 一个结合表面法线和观察方向的神经渲染器是否能够在多样材料和照明条件下实现几何与外观的解耦？
• RQ3 全局照明效应和近场相互作用在多视图表面重建质量上有多大影响？
• RQ4 在相机已知或共同学习的标准多视图数据集上，IDR 与已建立的基线相比如何？

主要发现

• IDR 在 DTU MVS 数据集上的三维表面重建达到最先进或具有竞争力的 Chamfer 距离和 PSNR，适用于固定和学习相机设置。
• 将表面法线引入神经渲染器对正确的几何–外观解耦是必要的，并提高几何保真度和渲染质量。
• 该模型在重新构建密闭表面的同时可以改进相机估计，在未知相机条件下，在 Fountain 数据集上对基线在相机精度方面表现更好。
• 消融研究显示移除视方向、法线或全局特征向量会降低重建质量，突出每个组件对准确渲染和几何的重要性。