[论文解读] NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild

Jason Zhang, Gengshan Yang+2 more|arXiv (Cornell University)|Oct 14, 2021

Computer Graphics and Visualization Techniques参考文献 59被引用 52

一句话总结

NeRS 提出一种基于表面的神经表示，使用神经 BRDFs 来建模水密几何，在自然环境下的稀疏视图 3D 重建更鲁棒，并在新视图合成方面相较体素方法有改进。

ABSTRACT

Recent history has seen a tremendous growth of work exploring implicit representations of geometry and radiance, popularized through Neural Radiance Fields (NeRF). Such works are fundamentally based on a (implicit) volumetric representation of occupancy, allowing them to model diverse scene structure including translucent objects and atmospheric obscurants. But because the vast majority of real-world scenes are composed of well-defined surfaces, we introduce a surface analog of such implicit models called Neural Reflectance Surfaces (NeRS). NeRS learns a neural shape representation of a closed surface that is diffeomorphic to a sphere, guaranteeing water-tight reconstructions. Even more importantly, surface parameterizations allow NeRS to learn (neural) bidirectional surface reflectance functions (BRDFs) that factorize view-dependent appearance into environmental illumination, diffuse color (albedo), and specular "shininess." Finally, rather than illustrating our results on synthetic scenes or controlled in-the-lab capture, we assemble a novel dataset of multi-view images from online marketplaces for selling goods. Such "in-the-wild" multi-view image sets pose a number of challenges, including a small number of views with unknown/rough camera estimates. We demonstrate that surface-based neural reconstructions enable learning from such data, outperforming volumetric neural rendering-based reconstructions. We hope that NeRS serves as a first step toward building scalable, high-quality libraries of real-world shape, materials, and illumination. The project page with code and video visualizations can be found at https://jasonyzhang.com/ners.

研究动机与目标

• 为野外稀疏视图 3D 重建提供对体积化 NeRF 风格表示的鲁棒替代方案的动机。
• 引入 Neural Reflectance Surfaces (NeRS)，它强制实现水密的表面几何并将外观分解为漫反射反照率与镜面反射分量。
• 从少量互联网上获取的多视图图像中学习形状、纹理、光照和材料属性。
• 在新颖的野外多视图数据集 MVMC（Multi-view Marketplace Cars）上评估 NeRS，并与基线方法进行比较。

提出的方法

• 将形状表示为单位球上的神经形变场 f_shape，以产生水密表面。
• 将纹理表示为单位球上类似 UV 的神经场 f_tex，以获得逐表面颜色。
• 用神经灰度环境贴图 f_env 建模光照，并使用基于 Phong 的分解进行渲染。
• 通过可微分光栅化进行渲染，以计算每像素辐射度 L_o = T(x) * I_diffuse + k_s * I_specular。
• 在粗到细的优化计划中，使用图像与掩模损失、感知损失以及几何正则化进行训练。

实验结果

研究问题

• RQ1 基于表面的神经表示结合受 BRDF 启发的照明，是否能够从稀疏且野外的多视图图像中稳健地恢复形状、纹理和光照？
• RQ2 在相机信息较弱、视图受限的情况下，NeRS 与体积化的 NeRF 风格方法相比如何？
• RQ3 将外观分解为漫反射和镜面反射分量是否有助于在野外环境中解耦光照与材料属性？
• RQ4 是否可以通过粗粒度的类别级模板和近似姿态，在多样化的物体类别中驱动高质量的重建？

主要发现

• 在 MVMC 上，NeRS 在 MSE、PSNR、SSIM、LPIPS 和 FID 等指标上显著优于基线（NeRF*、MetaNeRF 和 IDR）。
• NeRS 达到 MSE 0.0254、PSNR 16.5、SSIM 0.720、LPIPS 0.172、FID 60.9，超越所有列出的基线。
• 基于表面的表示通过解耦环境光照、漫反射反照率和镜面反射光泽，实现对视角相关反射的准确建模。
• 粗略初始化（粗糙的立方体网格）足以为多样对象恢复详细形状、纹理和光照。
• MVMC 数据集提供大规模的野外多视图数据，用于基准稀疏视图重建和新视图合成。