[论文解读] Object-Centric Neural Scene Rendering

Michelle Guo, Alireza Fathi+2 more|arXiv (Cornell University)|Dec 15, 2020

Computer Graphics and Visualization Techniques参考文献 47被引用 56

一句话总结

本文提出面向对象的神经散射函数（OSFs），通过将每个对象的光传输与体积路径追踪相结合，渲染高保真动态场景，在新的照明条件下无需重新训练即可进行场景组合。

ABSTRACT

We present a method for composing photorealistic scenes from captured images of objects. Our work builds upon neural radiance fields (NeRFs), which implicitly model the volumetric density and directionally-emitted radiance of a scene. While NeRFs synthesize realistic pictures, they only model static scenes and are closely tied to specific imaging conditions. This property makes NeRFs hard to generalize to new scenarios, including new lighting or new arrangements of objects. Instead of learning a scene radiance field as a NeRF does, we propose to learn object-centric neural scattering functions (OSFs), a representation that models per-object light transport implicitly using a lighting- and view-dependent neural network. This enables rendering scenes even when objects or lights move, without retraining. Combined with a volumetric path tracing procedure, our framework is capable of rendering both intra- and inter-object light transport effects including occlusions, specularities, shadows, and indirect illumination. We evaluate our approach on scene composition and show that it generalizes to novel illumination conditions, producing photorealistic, physically accurate renderings of multi-object scenes.

研究动机与目标

• 在移动对象与光照下渲染真实感动态场景的挑战。
• 提出一种面向对象的、基于视图与光照的散射表示，可重复用于不同场景。
• 展示如何将面对象散射与体积路径追踪结合，以捕捉对象间的光传输。
• 在不重新训练的情况下展示含新照明和对象排列的场景组成。
• 评估对新照明、对象布局和环境贴图的泛化能力。

提出的方法

• 用七维的面向对象神经散射函数（OSF）表示每个对象，将（x, y, z, 入射方向, 出射方向）映射到密度和散射分数。
• 用MLP近似OSF并应用位置编码以捕捉高频变化。
• 在物体规范坐标系中对每个对象训练OSF，与场景布置无关；通过逆变换实现跨场景复用。
• 将OSFs与体积路径追踪整合，以建模对象内部的光传输（对象内部）与对象之间的传输。
• 通过沿光线取样渲染场景，计算直接照明、阴影，以及通过在对象尺度光线样本上的蒙特卡洛路径追踪得到的间接照明。
• 提供一个渲染管线，支持移动的光源、相机和对象且无需重新训练。

实验结果

研究问题

• RQ1 OSFs学习到的每个对象是否能在不重新训练的情况下对新照明和对象放置进行泛化？
• RQ2 将OSFs与体积路径追踪相结合，在多对象场景中再现阴影与间接照明的效果有多好？
• RQ3 逐对象分解是否能够实现带有移动光源与对象的真实场景组合？
• RQ4 与基于NeRF的基线相比，在动态图照明场景下的性能与渲染质量权衡如何？

主要发现

数据集	方法	PSNR	SSIM	LPIPS
Furniture-Single	o-NeRF [23]	33.22	0.980	0.021
Furniture-Single	OSF (ours)	44.07	0.998	0.002
Furniture-Random	NeRF [23]	12.17	0.690	0.280
Furniture-Random	o-NeRF + S [23]	14.70	0.697	0.267
Furniture-Random	OSF (Ours)	19.02	0.793	0.135

• OSF在新照明下对单对象的PSNR更高且SSIM更接近完美，LPIPS更低（在新照明下：PSNR 44.07 vs 33.22；SSIM 0.998 vs 0.980；LPIPS 0.002 vs 0.021）。
• 在随机照明的场景组合中，OSF优于NeRF基线（PSNR 19.02 vs 12.17；SSIM 0.793 vs 0.690；LPIPS 0.135 vs 0.280）。
• OSF能够呈现对象之间的阴影和间接照明，而基线方法中通常缺失这些效果。
• 该方法支持包括环境贴图在内的复杂照明，产出合理的色彩偏色和对象之间光传输效应。
• 消融实验显示，完整的OSF（含阴影和间接照明）能产生最真实的渲染效果。