[论文解读] Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising

Jon Hasselgren, Nikolai Hofmann+1 more|arXiv (Cornell University)|Jun 7, 2022

Computer Graphics and Visualization Techniques被引用 38

一句话总结

论文将可微分蒙特卡洛渲染器与多重重要性采样和去噪纳入逆渲染管线，联合重建显式三角网格、空间变化材料和环境光照，从多视图图像中获取，与现有工作相比，在材料/光照分离方面取得改进。

ABSTRACT

Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model, incorporating ray tracing and Monte Carlo integration, substantially improves decomposition into shape, materials & lighting. Unfortunately, Monte Carlo integration provides estimates with significant noise, even at large sample counts, which makes gradient-based inverse rendering very challenging. To address this, we incorporate multiple importance sampling and denoising in a novel inverse rendering pipeline. This substantially improves convergence and enables gradient-based optimization at low sample counts. We present an efficient method to jointly reconstruct geometry (explicit triangle meshes), materials, and lighting, which substantially improves material and light separation compared to previous work. We argue that denoising can become an integral part of high quality inverse rendering pipelines.

研究动机与目标

• 激发并展示在可微分逆渲染框架中，使用物理基础的蒙特卡洛渲染实现形状、材料和光照的改进本征分解。
• 将现有基于表面的重建流程扩展为支持显式三角网格，具备PBR材料和HDR环境光照。
• 使用多重重要性采样和去噪进行方差降低，解决蒙特卡洛噪声，使在实际采样数下可实现梯度优化。

提出的方法

• 使用从符号距离场和 marching tetrahedra（DMTet）获得的显式三角网格来提取拓扑。
• 使用可微分蒙特卡洛渲染器进行渲染，使用光线追踪和阴影测试计算直接光照，包含Disney BRDF和切线空间法线贴图。
• 使用高动态范围环境探针表示光照，并通过与参考视图的光度损失来优化几何、空间变异材料和光照。
• 对光源、漫反射和镜面采样应用多重重要性采样，使用平衡准则权重以降低MC方差。
• 引入可微分去噪器（神经网络和跨双边）以提升正向渲染质量并将去噪梯度传播回场景参数。
• 将渲染方程分解为反照率、去调的漫反射光照和镜面光照，以对光/材质项进行定向正则化。

实验结果

研究问题

• RQ1 拟合真实感的可微分渲染器，结合蒙特卡洛直接光照与去噪，是否能改善形状、材料和光照在多视图图像中的分离？
• RQ2 显式几何表示（通过DMTet的三角网格）结合基于物理的着色，是否比先前方法在重新照明和材料估计方面更好？
• RQ3 方差减少技术（MIS与去噪）如何影响高频照明下逆渲染的收敛速度和重建质量？

主要发现

• 与如nvdiffrec等先前工作相比，联合优化几何、材料和光照并使用蒙特卡洛直接照明可获得更好的材料与光分离。
• 在合成 NeRFactor 数据集上，我们的方法在 NeRFactor 合成数据上达到 PSNR 26.0 dB、SSIM 0.924、LPIPS 0.060；NeRF 合成数据为 26.5 dB/SSIM 0.932/LPIPS 0.055；我们的合成数据为 27.1 dB/SSIM 0.950/LPIPS 0.027，分别对比基线 nvdiffrec 的 24.8 dB/0.910/0.063、23.3 dB/0.889/0.076、23.7 dB/0.925/0.049。
• 在 NeRFactor 合成数据和 Nerf 合成数据集上的视图插值显示，我们的方法配合去噪在前者达到 29.6 dB/0.951，后者达到 28.4 dB/0.938，而 baseline 为 nvdiffrec 31.7 dB/0.967 和 30.4 dB/0.958（无去噪），这凸显了纯粹视图合成质量与改进材料/光分离之间的权衡。
• 去噪与 MIS 在低采样（如 8 spp）下显著改善优化，相较于无去噪的 32 spp，去噪器使迭代更快、光探针质量更好。
• 该方法在显式几何、材料和光照方面产生成熟的真实世界结果，能够在下游工具（如 Blender）中实现重绘和材料编辑，同时在高端 GPU 上保持具有竞争力的重建时间。