[论文解读] NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields

Xiaoxue Chen, Junchen Liu+3 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Vision and Imaging被引用 4

一句话总结

NeRRF 提出了一种两阶段神经渲染框架，仅使用物体轮廓图即可实现透明和镜面物体的三维重建与新视角合成。它采用可微分的四面体 marching 方法并结合渐进式编码进行几何重建，同时整合基于物理的光线追踪与基于 Fresnel 的折射和反射建模，实现了在合成数据集和真实世界数据集上的最先进视图合成质量，且对掩码伪影具有鲁棒性。

ABSTRACT

Neural radiance fields (NeRF) have revolutionized the field of image-based view synthesis. However, NeRF uses straight rays and fails to deal with complicated light path changes caused by refraction and reflection. This prevents NeRF from successfully synthesizing transparent or specular objects, which are ubiquitous in real-world robotics and A/VR applications. In this paper, we introduce the refractive-reflective field. Taking the object silhouette as input, we first utilize marching tetrahedra with a progressive encoding to reconstruct the geometry of non-Lambertian objects and then model refraction and reflection effects of the object in a unified framework using Fresnel terms. Meanwhile, to achieve efficient and effective anti-aliasing, we propose a virtual cone supersampling technique. We benchmark our method on different shapes, backgrounds and Fresnel terms on both real-world and synthetic datasets. We also qualitatively and quantitatively benchmark the rendering results of various editing applications, including material editing, object replacement/insertion, and environment illumination estimation. Codes and data are publicly available at https://github.com/dawning77/NeRRF.

研究动机与目标

• 为解决透明和镜面物体的三维重建与视图合成挑战，这些物体因折射和反射导致的复杂光路变化而难以建模。
• 克服标准 NeRF 的局限性，后者假设光线为直线传播，无法处理非朗伯表面。
• 开发一种仅从物体轮廓图重建几何结构的方法，避免依赖 RGB 数据或深度传感器。
• 在神经辐射场中采用统一的基于 Fresnel 的公式，实现折射与反射的物理精确渲染。
• 支持下游应用，如材质编辑、再光照和环境光照估计。

提出的方法

• 使用可微分渲染的深度四面体 marching (DMTet) 方法，通过渐进式编码策略从物体轮廓图重建三维几何结构。
• 采用基于掩码重建和 eikonal 正则化的损失函数，以优化隐式表面表示。
• 提出一种神经折射-反射场 (NeRRF)，利用斯涅尔定律和反射方程建模非直线传播的光线路径。
• 引入 Fresnel 项，基于表面材质属性统一建模反射与折射。
• 采用虚拟圆锥超采样技术，通过在方向分布上平均辐射度，减少混叠并提升渲染平滑度。
• 通过从渲染掩码和视图合成损失反向传播梯度，实现端到端训练。

实验结果

研究问题

• RQ1 是否可以将神经辐射场扩展以处理透明和镜面物体中由折射和反射引起的非直线光线路径？
• RQ2 如何在无 RGB 或深度监督的情况下，仅从轮廓图重建非朗伯物体的三维几何结构？
• RQ3 统一的基于 Fresnel 的公式在单一可微分渲染框架中对反射与折射的建模能力有多强？
• RQ4 虚拟圆锥超采样在减少高度视角依赖表面的混叠伪影方面效果如何？
• RQ5 NeRRF 是否能在真实世界的透明和镜面物体上支持实际编辑任务，如材质编辑、再光照和环境光照估计？

主要发现

• NeRRF 在合成数据集和真实世界数据集上均实现了最先进水平的新视角合成效果，PSNR 相较基线方法最高提升 1.8 dB。
• 消融实验表明，与非渐进式训练相比，渐进式编码可将 Chamfer 距离降低最多 15%，显著提升表面平滑度。
• 虚拟圆锥超采样使 LPIPS 最多降低 0.025，PSNR 提升 0.8–1.5 dB，显著减少表面噪声。
• 在真实世界数据集上，NeRRF 即使在使用 Apple 截取工具生成的不完美掩码下，也能成功重建并渲染透明物体，展现出强大鲁棒性。
• 该方法支持高质量的再光照与材质编辑：例如，将马匹从反射材质改为透射材质后，可生成合理且符合物理规律的渲染结果。
• 如定性结果所示，仅通过球体的反射即可准确估计环境辐射场，证明 NeRRF 能够从反射中精确推断周围光照。