[论文解读] NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination

Xiuming Zhang, Pratul P. Srinivasan+4 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Vision and Imaging参考文献 60被引用 57

一句话总结

NeRFactor 在一个未知光照条件下从多视图图像中恢复一个完整的三维表面及法线、光照可见性、反照率，以及空间变化的 BRDF，实现带阴影的再着色和材料编辑。

ABSTRACT

We address the problem of recovering the shape and spatially-varying reflectance of an object from multi-view images (and their camera poses) of an object illuminated by one unknown lighting condition. This enables the rendering of novel views of the object under arbitrary environment lighting and editing of the object's material properties. The key to our approach, which we call Neural Radiance Factorization (NeRFactor), is to distill the volumetric geometry of a Neural Radiance Field (NeRF) [Mildenhall et al. 2020] representation of the object into a surface representation and then jointly refine the geometry while solving for the spatially-varying reflectance and environment lighting. Specifically, NeRFactor recovers 3D neural fields of surface normals, light visibility, albedo, and Bidirectional Reflectance Distribution Functions (BRDFs) without any supervision, using only a re-rendering loss, simple smoothness priors, and a data-driven BRDF prior learned from real-world BRDF measurements. By explicitly modeling light visibility, NeRFactor is able to separate shadows from albedo and synthesize realistic soft or hard shadows under arbitrary lighting conditions. NeRFactor is able to recover convincing 3D models for free-viewpoint relighting in this challenging and underconstrained capture setup for both synthetic and real scenes. Qualitative and quantitative experiments show that NeRFactor outperforms classic and deep learning-based state of the art across various tasks. Our videos, code, and data are available at people.csail.mit.edu/xiuming/projects/nerfactor/.

研究动机与目标

• 从在单一未知照明下捕获的多视图图像中恢复形状、空间变化的反射率和环境照明。
• 将基于 NeRF 的体积密度蒸馏为表面表示，以实现高效的着色和再着色。
• 提出一个从真实 BRDF 测量中学习的数据驱动 BRDF 偏好，以约束材料估计。
• 将阴影与反照率区分开来，以在任意照明条件下实现真实的带阴影的再着色。

提出的方法

• 用 NeRF（或 MVS）初始化几何，以获得表面位置、法线和光照可见性。
• 将法线和可见性重新参数化为 MLP，以在拟合重新渲染损失时对其进行降噪和平滑。
• 将 BRDF 表示为 Lambertian 反照率与学习到的非漫反射分量的和，通过在真实 BRDF（MERL）上预训练的 BRDF 潜在空间进行解码，并对每个表面点解码。
• 用高频 HDR 光探针表示照明，并在直接、单次散射的渲染假设下进行优化。
• 通过重建损失加上对法线、可见性、反照率和 BRDF 的平滑性和先验损失来训练，从而实现形状、反射和照明的解耦。

实验结果

研究问题

• RQ1 我们是否能够从在单一照明下捕获的图像中，将外观因子分解为几何、空间变化的反射率和未知环境照明？
• RQ2 将基于 NeRF 的几何蒸馏为具有学习先验的表面表示，是否能够实现准确的再着色和材料编辑？
• RQ3 在一个光源有限、约束不足的设置中，数据驱动的 BRDF 先验能在多大程度上支持可行的、空间变化的材料？

主要发现

• 该方法在未知照明的多视图图像上，未监督的情况下，恢复了合理的三维表面法线、光照可见性、反照率和 BRDF。
• 对光照可见性的显式建模使阴影与反照率分离，并在新照明下实现逼真的阴影。
• 基于 NeRF 的初始化加上学习到的先验提升了几何和材料估计，能够实现自由视角的再着色和材料编辑。
• 结果表明 NeRFactor 在多项任务上优于经典和深度学习的现有方法，同时不需要额外的观测照明条件。