[论文解读] NeReF: Neural Refractive Field for Fluid Surface Reconstruction and Implicit Representation

Ziyu Wang, Wei Yang+4 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Vision and Imaging被引用 4

一句话总结

NeReF 提出了一种神经折射场，通过从 3D 坐标学习体素密度场和法线场，隐式表示流体表面，从而实现精确的折射感知视图合成与高保真表面重建。它通过直接建模折射效应（基于斯涅尔定律）超越了 NeRF 和光线追踪基线方法，在稀疏多视角输入和光学流噪声下仍能实现鲁棒结果。

ABSTRACT

Existing neural reconstruction schemes such as Neural Radiance Field (NeRF) are largely focused on modeling opaque objects. We present a novel neural refractive field(NeReF) to recover wavefront of transparent fluids by simultaneously estimating the surface position and normal of the fluid front. Unlike prior arts that treat the reconstruction target as a single layer of the surface, NeReF is specifically formulated to recover a volumetric normal field with its corresponding density field. A query ray will be refracted by NeReF according to its accumulated refractive point and normal, and we employ the correspondences and uniqueness of refracted ray for NeReF optimization. We show NeReF, as a global optimization scheme, can more robustly tackle refraction distortions detrimental to traditional methods for correspondence matching. Furthermore, the continuous NeReF representation of wavefront enables view synthesis as well as normal integration. We validate our approach on both synthetic and real data and show it is particularly suitable for sparse multi-view acquisition. We hence build a small light field array and experiment on various surface shapes to demonstrate high fidelity NeReF reconstruction.

研究动机与目标

• 为解决从图像中折射畸变重建透明流体表面的挑战，传统方法因光线路径复杂性而难以应对。
• 开发一种神经隐式表示，联合编码流体表面几何（密度与法线）和折射行为，克服显式深度/法线图表示的局限性。
• 通过直接整合学习到的法线场与密度场中的折射效应，实现高保真、视角一致的新视角合成。
• 利用参考图案图像与其在流体下畸变视图之间的光学流对应关系，实现基于场景的自监督优化，避免依赖大规模真实数据集。
• 通过小型光场阵列在合成与真实世界流体表面重建中展示其鲁棒性与可扩展性。

提出的方法

• NeReF 使用全连接深度神经网络，将流体表面表示为从 3D 坐标到体素密度和表面法线的连续函数。
• 基于沿射线路径累积的折射点与法线，应用斯涅尔定律对查询射线进行折射，实现物理上精确的折射模拟。
• 通过参考图案图像与其在流体下畸变视图之间的光学流对应关系进行模型优化，实现自监督训练。
• 通过学习到的密度场与法线场的体积分量执行视图合成，实现直接渲染折射图像，无需显式深度图或法线图。
• 通过体积分量后处理恢复显式深度图与法线图，保持几何保真度。
• 该方法基于每个场景端到端训练，避免对大规模真实世界数据集的依赖。

实验结果

研究问题

• RQ1 神经隐式场能否有效表示流体表面的体素密度与法线，以实现精确的折射建模？
• RQ2 与传统光线追踪或基于 NeRF 的方法相比，NeReF 在稀疏多视角采集下的流体表面重建性能如何？
• RQ3 NeReF 在使用光学流对应关系进行监督时，对噪声的鲁棒性如何？
• RQ4 NeReF 能否通过直接建模学习到的法线与密度场中的折射效应，实现高保真新视角合成？
• RQ5 输入相机数量如何影响 NeReF 在重建流体表面几何精度方面的表现？

主要发现

• NeReF 的重建误差显著低于 NeRF 和光线追踪基线方法，使用 9 台相机时深度均方根误差（RMSE）为 0.02252 米，仅使用 3 台相机时为 0.05683 米。
• 平均法线夹角差从 9 台相机时的 0.28477° 增加至 3 台相机时的 0.84187°，证实更多视角可提升几何精度。
• NeReF 对光学流噪声具有鲁棒性，深度与法线误差呈线性增长而非指数级退化，表明优化过程稳定。
• NeReF 生成的新视角与真实值高度一致，优于原始 NeRF（因错误的射线几何而失效）以及基于显式深度/法线图的光线追踪（存在伪影）。
• 该方法可实现高保真度的畸变图案重渲染，且畸变效果随视角角度正确变化。
• NeReF 模型体积紧凑（约 4MB），支持按需分辨率渲染，适用于高分辨率应用。