[论文解读] NeROIC: Neural Rendering of Objects from Online Image Collections

Zhengfei Kuang, Kyle Olszewski+4 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Vision and Imaging被引用 12

一句话总结

NeROIC 提出了一种模块化的神经渲染框架，仅使用粗略的前景掩码和估计的相机位姿，即可从非结构化的在线图像集合中重建高保真度的 3D 几何、材质和光照。通过扩展 NeRF 以实现鲁棒的几何优化、法向估计以及基于球谐函数的再光照，该方法实现了新颖视角合成、再光照以及在不同光照和背景条件下的合成渲染——在无需受控采集设置的复杂野外数据上实现了最先进性能。

ABSTRACT

We present a novel method to acquire object representations from online image collections, capturing high-quality geometry and material properties of arbitrary objects from photographs with varying cameras, illumination, and backgrounds. This enables various object-centric rendering applications such as novel-view synthesis, relighting, and harmonized background composition from challenging in-the-wild input. Using a multi-stage approach extending neural radiance fields, we first infer the surface geometry and refine the coarsely estimated initial camera parameters, while leveraging coarse foreground object masks to improve the training efficiency and geometry quality. We also introduce a robust normal estimation technique which eliminates the effect of geometric noise while retaining crucial details. Lastly, we extract surface material properties and ambient illumination, represented in spherical harmonics with extensions that handle transient elements, e.g. sharp shadows. The union of these components results in a highly modular and efficient object acquisition framework. Extensive evaluations and comparisons demonstrate the advantages of our approach in capturing high-quality geometry and appearance properties useful for rendering applications.

研究动机与目标

• 从缺乏受控采集数据的非结构化、野外在线图像集合中实现高质量 3D 物体重建。
• 解决真实世界图像集合中相机位姿、光照、背景和物体外观差异带来的挑战。
• 开发一种模块化的神经渲染流水线，将几何、材质和光照分离，以支持灵活的渲染应用。
• 在无需校准多视角数据的前提下，实现准确的新颖视角合成、再光照以及和谐的背景合成。

提出的方法

• 采用基于 NeRF 的多阶段框架，首先利用粗略前景掩码优化几何并精炼相机参数。
• 提出一种鲁棒的法向估计技术，在抑制几何噪声的同时保留精细细节。
• 通过神经渲染流水线将表面反射率分解为反照率、法向、高光度和光泽度图。
• 使用球谐函数表示光照，并扩展以建模如锐利阴影等瞬态效应。
• 引入瞬态嵌入模块，以处理动态光照效应，如阴影和高光。
• 将几何、材质和光照组件整合为统一的渲染系统，用于新颖视角合成与再光照。

实验结果

研究问题

• RQ1 神经渲染方法是否能在最小监督下，从非结构化、野外图像集合中重建准确的 3D 几何与外观？
• RQ2 当初始位姿不准确或存在噪声时，如何有效优化几何与相机参数？
• RQ3 在多变的光照和背景条件下，材质与光照组件在多大程度上可实现解耦并保持一致渲染？
• RQ4 即使输入图像在光照和背景上差异显著，模型是否仍能泛化至新颖视角、再光照和合成场景？

主要发现

• 在相机位姿扰动 Δt=0.1 且 Δr=10° 的情况下，完整 NeROIC 模型在 PSNR 达到 24.74，FMSE 为 0.00029，优于未使用相机优化的模型。
• 当 Δr=20° 时，完整模型仍保持 PSNR 为 20.38，FMSE 为 0.00860，表明对高误差位姿具有鲁棒性。
• 在 Δr=10° 时，无相机优化的模型在 3 个场景中有 1 个无法收敛，而完整模型在所有 3 个场景中均收敛，凸显了相机精炼的重要性。
• 消融研究显示，瞬态嵌入可提升渲染质量，在不完美掩码下相比基线模型具有更低的 MMSE。
• 即使输入图像具有截然不同的背景和光照，模型仍能成功将物体合成到新环境中，实现逼真的光照与阴影效果。
• 失败案例表明，环境光遮蔽可能被误分类为材质属性，提示未来工作需改进解耦能力。