[论文解读] PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting

Kai Zhang, Fujun Luan+3 more|arXiv (Cornell University)|Apr 1, 2021

Computer Graphics and Visualization Techniques被引用 9

一句话总结

PhySG 提出了一种端到端可微分的逆渲染流程，能够从多视角 RGB 图像在静态自然光照条件下联合重建几何、材质和光照。通过使用球面高斯函数表示 BRDF 和环境贴图，并以神经 SDF 表示几何，该方法实现了精确的新视角合成、光照重演以及基于物理的材质编辑——在处理镜面反射方面优于非物理的神经渲染基线方法。

ABSTRACT

We present PhySG, an end-to-end inverse rendering pipeline that includes a fully differentiable renderer and can reconstruct geometry, materials, and illumination from scratch from a set of RGB input images. Our framework represents specular BRDFs and environmental illumination using mixtures of spherical Gaussians, and represents geometry as a signed distance function parameterized as a Multi-Layer Perceptron. The use of spherical Gaussians allows us to efficiently solve for approximate light transport, and our method works on scenes with challenging non-Lambertian reflectance captured under natural, static illumination. We demonstrate, with both synthetic and real data, that our reconstructions not only enable rendering of novel viewpoints, but also physics-based appearance editing of materials and illumination.

研究动机与目标

• 解决在无 RGBD 或受控光照条件下，从多视角 RGB 图像中联合重建几何、材质和光照的挑战。
• 通过解耦光照与材质属性，实现物理上合理的外观编辑与光照重演。
• 克服神经渲染方法将外观建模为单一神经表面光场的局限，后者无法实现物理编辑。
• 开发一种完全可微分的渲染器，支持使用球面高斯函数高效近似光传输，实现端到端优化。
• 在具有挑战性的非朗伯反射和弱镜面高光的真实世界光泽物体上，验证方法的鲁棒性与适用性。

提出的方法

• 几何通过由多层感知机（MLP）参数化的符号距离函数（SDF）表示，实现隐式表面表示。
• 镜面 BRDF 和环境光照建模为球面高斯函数（SG）的混合，支持渲染方程的闭式、可微分求解。
• 整个流程完全可微分，支持通过光度损失使用 2D 图像监督，实现几何、材质和光照的联合优化。
• 使用球面高斯函数近似渲染方程，实现无需蒙特卡洛采样的高效且可微分的光传输计算。
• 对漫反射反照率应用尺度对齐策略，以解决逆渲染中的尺度模糊问题，提升视觉保真度。
• 方法通过支持视角依赖效应的可微分渲染器进行训练，能够准确合成镜面高光。

Figure 1 : PhySG performs physics-based inverse rendering by taking as input multi-view images of a static glossy object under static natural illumination and jointly optimizes for geometry (represented by an SDF), material BRDF and environment maps (both represented by a mixture of spherical Gaussi

实验结果

研究问题

• RQ1 一个完全可微分的逆渲染流程是否能够从多视角 RGB 图像在静态自然光照条件下联合重建几何、材质和光照？
• RQ2 在可微分渲染框架中，球面高斯函数在近似镜面与光泽材质复杂光传输方面表现如何？
• RQ3 该方法是否能在无需先验几何或受控光照的条件下，实现物理直观的材质编辑与光照重演？
• RQ4 该方法在具有挑战性的非朗伯反射和弱镜面高光的真实世界数据上的表现如何？
• RQ5 该方法在处理间接光照和空间变化的 BRDF 时存在哪些局限性？

主要发现

• PhySG 在合成与真实数据上的新视角合成任务中达到最先进性能，优于 NeRF、IDR 和 DVR，尤其在处理镜面反射方面表现更优。
• 即使在镜面高光极弱的图像上，该方法仍能成功重建合理的环境贴图，展现出对低反射率的强鲁棒性。
• 通过球面高斯表示解耦 BRDF 与光照，实现了基于物理的材质编辑与光照重演。
• 几何重建质量接近 IDR，但在外观建模与可编辑性方面表现更优。
• 该方法可泛化至包含光泽、非朗伯材质的真实世界场景，在新视角合成与编辑中生成照片级真实感结果。
• 基线方法如 redner 在从球面初始化优化时无法收敛，凸显了 PhySG 中基于 SDF 的隐式几何表示的优势。

Figure 2 : Overview of our PhySG inverse rendering pipeline. To render the color for a camera ray $\mathbf{r}=\mathbf{o}+t\mathbf{d}$ , we first use sphere tracing to find the ray’s intersection $\mathbf{x}$ with the geometry in the form of a signed distance function (SDF) represented as an MLP $S(\