[论文解读] Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection

Wenhang Ge, Tao Hu+3 more|arXiv (Cornell University)|Mar 20, 2023

3D Surveying and Cultural Heritage被引用 4

一句话总结

Ref-NeuS 提出了一种新颖的神经隐式表面学习框架，用于反射物体的多视角 3D 重建，通过一种反射感知的光度损失减少歧义，该损失将渲染颜色建模为由异常检测的反射分数引导的方差高斯分布。它进一步通过使用与反射方向相关的辐射度，提升了几何精度，在 Shiny Blender 数据集上实现了 0.46 的重建精度（MAE: 0.91），达到当前最先进水平。

ABSTRACT

Neural implicit surface learning has shown significant progress in multi-view 3D reconstruction, where an object is represented by multilayer perceptrons that provide continuous implicit surface representation and view-dependent radiance. However, current methods often fail to accurately reconstruct reflective surfaces, leading to severe ambiguity. To overcome this issue, we propose Ref-NeuS, which aims to reduce ambiguity by attenuating the effect of reflective surfaces. Specifically, we utilize an anomaly detector to estimate an explicit reflection score with the guidance of multi-view context to localize reflective surfaces. Afterward, we design a reflection-aware photometric loss that adaptively reduces ambiguity by modeling rendered color as a Gaussian distribution, with the reflection score representing the variance. We show that together with a reflection direction-dependent radiance, our model achieves high-quality surface reconstruction on reflective surfaces and outperforms the state-of-the-arts by a large margin. Besides, our model is also comparable on general surfaces.

研究动机与目标

• 解决多视角 3D 重建中反射表面几何重建模糊的关键挑战。
• 克服现有神经隐式方法因多视角一致性崩溃而在处理反射表面时的失败问题。
• 开发一种方法，在不依赖表面外观物理分解的复杂过程下减少歧义。
• 通过更优的辐射度建模和损失加权，提升反射物体的表面法线精度和渲染真实感。
• 使用统一的端到端框架，在反射表面和一般表面上均实现当前最先进水平的重建质量。

提出的方法

• 利用异常检测器，基于可见图像的多视角上下文，引入一个反射分数估计模块，以定位反射区域。
• 设计一种反射感知的光度损失，将渲染颜色建模为高斯分布，以反射分数作为方差，从而减弱反射像素的影响。
• 通过可见性识别，仅对每个表面点的可见源视角颜色进行考虑，确保反射分数估计的无偏性。
• 用与反射方向相关的辐射度替代标准的视角依赖辐射度，以提升辐射度场质量和几何精度。
• 使用可微分的高斯损失端到端训练模型，实现几何、法线和外观的联合优化。
• 利用自适应加权的多视角一致性，在保持几何结构的同时降低对反射的敏感性。

Figure 1: Our ambiguity-reduced framework significantly improves explicit surfaces geometry, surface normals and rendering realism for modeling reflective surfaces compared to NeuS and Ref-NeRF. Reconstruction accuracy (lower is better), surface normal mean angular error, i.e., MAE (lower is better)

实验结果

研究问题

• RQ1 如何使神经隐式表面学习对反射表面具有鲁棒性，而这些表面的多视角一致性本质上已被破坏？
• RQ2 是否可以不依赖于物理分解的表面组分，有效减少由反射引起的歧义？
• RQ3 多视角上下文在准确估计用于损失加权的反射分数中起到什么作用？
• RQ4 与标准的视角依赖辐射度相比，反射方向相关的辐射度如何改善几何和表面法线估计？
• RQ5 将反射感知损失与方向相关辐射度结合，能在多大程度上提升反射物体的重建质量？

主要发现

• Ref-NeuS 在 Shiny Blender 数据集上实现了 0.46 的重建精度（越低越好）和 0.91 的平均角度误差（MAE），显著优于基线方法如 NeuS（1.69, 1.77）和 Ref-NeRF。
• 消融研究证实，将可见性感知的反射分数估计与反射方向相关的辐射度结合，可获得最佳性能，相比基线 NeuS 将 MAE 降低了 45%。
• 通过反射分数建模方差的反射感知光度损失，降低了反射像素的影响，从而实现更精确的表面几何和法线。
• 模型生成的改进表面法线在新视角合成中带来了更高的 PSNR，表明相比 Ref-NeRF 具有更好的渲染真实感，即使使用更少的光线。
• 该方法在非反射表面也保持了强劲性能，显示出超越反射物体的泛化能力。
• 完整模型（同时包含反射感知损失和方向相关辐射度）取得了最佳结果，证明了两个组件之间的互补性。

Figure 2: An overview of our framework. We propose a reflection-aware photometric loss to address the ambiguity induced by reflection. This loss attenuates the importance of reflective surfaces by lowering the weights of reflective pixels. Our loss relies on the estimated reflection score to localiz