[论文解读] Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis

Julian Knodt, Joe Bartusek+2 more|arXiv (Cornell University)|Apr 27, 2021

Computer Graphics and Visualization Techniques被引用 5

一句话总结

本文提出 Neural Ray-Tracing，一种可微分、解耦的神经渲染框架，通过有符号距离场显式建模场景几何，并利用混合漫反射/可学习 BRDF 表征反射特性。通过将神经场景表征集成到路径追踪流水线中，该方法实现了高效、物理上合理的多路径反弹渲染与逆向渲染，用于泛光照明和视角合成，在定量指标与定性真实感方面均优于先前的神经方法，包括准确的阴影与法线预测。

ABSTRACT

Recent neural rendering methods have demonstrated accurate view interpolation by predicting volumetric density and color with a neural network. Although such volumetric representations can be supervised on static and dynamic scenes, existing methods implicitly bake the complete scene light transport into a single neural network for a given scene, including surface modeling, bidirectional scattering distribution functions, and indirect lighting effects. In contrast to traditional rendering pipelines, this prohibits changing surface reflectance, illumination, or composing other objects in the scene. In this work, we explicitly model the light transport between scene surfaces and we rely on traditional integration schemes and the rendering equation to reconstruct a scene. The proposed method allows BSDF recovery with unknown light conditions and classic light transports such as pathtracing. By learning decomposed transport with surface representations established in conventional rendering methods, the method naturally facilitates editing shape, reflectance, lighting and scene composition. The method outperforms NeRV for relighting under known lighting conditions, and produces realistic reconstructions for relit and edited scenes. We validate the proposed approach for scene editing, relighting and reflectance estimation learned from synthetic and captured views on a subset of NeRV's datasets.

研究动机与目标

• 为解决神经辐射场中几何、反射与光照之间的耦合问题，该问题限制了可编辑性与泛光照明能力。
• 通过神经场景表征实现高效、可微分的路径追踪，同时保持物理光传输的可解释性。
• 将场景光传输分解为可分离的组成部分——表面几何、BRDF 与光照，以支持逆向渲染与泛光照明。
• 实现高保真视角合成与泛光照明，准确生成阴影与表面法线，克服 NeRF 等隐式体素网络的局限性。
• 通过将空间变化的光照建模为可学习 MLP，将神经渲染扩展至未知光照条件。

提出的方法

• 该方法使用有符号距离场（SDF）表示隐式三维几何，实现高效的射线-表面相交与遮挡计算。
• 采用解耦的 BRDF 模型，结合分析性漫反射分量与可学习的空间变化非漫反射分量，以表征复杂反射特性。
• 渲染流水线通过基于二分法的射线投射与分层相交评估，实现可微分路径追踪，时间复杂度为 O(n log n)。
• 通过递归路径追踪支持多路径反弹间接光照，直接光照与二次反弹光照的贡献被显式建模。
• 对于未知光照，训练一个独立的 MLP，从场景坐标与图像特定潜在码中预测每个位置的光照强度与方向。
• 整个系统通过可微分渲染端到端训练，支持独立优化几何、反射与光照组件，实现逆向渲染与泛光照明。

实验结果

研究问题

• RQ1 神经渲染框架能否解耦几何、反射与光照，以实现高效的逆向渲染与泛光照明？
• RQ2 结合神经场景表征的可微分路径追踪流水线能否在保持计算效率的同时实现准确的多路径反弹光照？
• RQ3 将分析性与可学习 BRDF 分量相结合，是否能提升渲染质量与泛化能力，优于纯可学习表征？
• RQ4 该方法能否在光照条件未知或变化的现实场景中实现泛化？
• RQ5 在无真实标签监督的情况下，解耦表征能否恢复准确的表面法线与深度？

主要发现

• 在 Chair 场景中，双分量 BRDF 模型（漫反射 + 可学习）达到 35.65 的 PSNR 与 0.98 的 MS-SSIM，显著优于仅漫反射（31.27 PSNR）或仅可学习（27.74 PSNR）的基线模型。
• 在 Hotdog 场景中，联合模型达到 37.70 的 PSNR 与 0.98 的 MS-SSIM，展现出在捕捉镜面高光与结构细节方面的优越性能。
• 该方法能准确预测柔和阴影与表面法线，而 NeRF 由于其隐式体素表示，无法建模遮挡或恢复法线。
• 二次反弹间接光照被有效捕捉，Lego 场景屋顶因拖拉机爪反射光线而显现出可见照明。
• 在扩展至未知光照时，该方法无需真实光照标签，即可从真实 DTU 数据集图像中恢复出合理的深度与法线，得益于 BRDF 中的漫反射先验。
• 该方法实现了高效的多路径反弹渲染，时间复杂度为 O(n log n)，在间接光照方面相比 NeRV 在速度与质量上均表现更优。