[论文解读] Neural Reflectance Fields for Appearance Acquisition

Sai Bi, Zexiang Xu+7 more|arXiv (Cornell University)|Aug 9, 2020

Computer Graphics and Visualization Techniques参考文献 57被引用 111

一句话总结

引入神经反射场——几何与反射的连续神经表征，结合可微、具反射感知的光线行进渲染器，用于从非结构化闪光图像进行视图合成、重新成像与场景组合。

ABSTRACT

We present Neural Reflectance Fields, a novel deep scene representation that encodes volume density, normal and reflectance properties at any 3D point in a scene using a fully-connected neural network. We combine this representation with a physically-based differentiable ray marching framework that can render images from a neural reflectance field under any viewpoint and light. We demonstrate that neural reflectance fields can be estimated from images captured with a simple collocated camera-light setup, and accurately model the appearance of real-world scenes with complex geometry and reflectance. Once estimated, they can be used to render photo-realistic images under novel viewpoint and (non-collocated) lighting conditions and accurately reproduce challenging effects like specularities, shadows and occlusions. This allows us to perform high-quality view synthesis and relighting that is significantly better than previous methods. We also demonstrate that we can compose the estimated neural reflectance field of a real scene with traditional scene models and render them using standard Monte Carlo rendering engines. Our work thus enables a complete pipeline from high-quality and practical appearance acquisition to 3D scene composition and rendering.

研究动机与目标

• 在不进行显式几何重构的情况下激发真实场景的外观获取。
• 提出一种神经的、连续的表征，建模几何、反射和体积密度。
• 开发可微、具反射感知的光线行进渲染管线。
• 展示可以使用实用的捕获设置从同位闪光图像学习神经反射场。
• 展示在传统渲染器中实现视图合成、重新照明和场景组合的应用。

提出的方法

• 在任意3D点用输出密度、法向量和反射参数的MLP表示场景属性。
• 使用可微光线行进方程在任意视角和光照下渲染辐亮度。
• 在渲染方程中整合经典的反射模型以实现重新照明和阴影。
• 使用自上而下的自适应采样方案，从同位相机-闪光图像训练网络。
• 预先计算自适应光透射体积，以在非同位照明下高效渲染。
• 可选地扩展到毛发/其他反射模型，并在标准渲染器中与传统3D模型进行组合。

实验结果

研究问题

• RQ1 神经场能否联合建模场景几何与反射以实现高保真外观再现？
• RQ2 同位相机-闪光捕获是否提供足够信息来学习真实场景的神经反射场？
• RQ3 所得表示是否在新光照和视角下支持真实感的视图合成、重新照明与场景组合？
• RQ4 如何将可微光线行进与经典反射模型结合以对学习进行正则化并实现阴影？

主要发现

• 神经反射场准确建模复杂几何和反射，并从新视点与光照渲染出照片级真实感图像。
• 该方法在具有挑战性的真实场景中优于最先进的网格方法和离散体积方法。
• 该框架支持重新照明、准确的阴影、镜面反射和遮挡。
• 该神经场可与传统3D模型组合，在标准的蒙特卡洛渲染器中渲染。
• 从同位闪光图像进行训练在简单的手持捕获设置下是可行的。