[论文解读] Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container

Jinguang Tong, Sundaram Muthu+3 more|arXiv (Cornell University)|Mar 24, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出 ReNeuS，一种新颖的神经 3D 重建方法，通过显式建模玻璃-空气界面处的光反射与折射，实现对透明容器内部物体的高保真几何重建。通过将场景分割为内部与外部子空间，并采用混合光线追踪与体素渲染策略，ReNeuS 在合成数据集与真实数据集上均达到最先进性能，显著优于现有方法（如 NeuS 和 IDR），尤其在重建细小细节（如昆虫翅膀与触角）方面表现突出。

ABSTRACT

In this paper, we define a new problem of recovering the 3D geometry of an object confined in a transparent enclosure. We also propose a novel method for solving this challenging problem. Transparent enclosures pose challenges of multiple light reflections and refractions at the interface between different propagation media e.g. air or glass. These multiple reflections and refractions cause serious image distortions which invalidate the single viewpoint assumption. Hence the 3D geometry of such objects cannot be reliably reconstructed using existing methods, such as traditional structure from motion or modern neural reconstruction methods. We solve this problem by explicitly modeling the scene as two distinct sub-spaces, inside and outside the transparent enclosure. We use an existing neural reconstruction method (NeuS) that implicitly represents the geometry and appearance of the inner subspace. In order to account for complex light interactions, we develop a hybrid rendering strategy that combines volume rendering with ray tracing. We then recover the underlying geometry and appearance of the model by minimizing the difference between the real and hybrid rendered images. We evaluate our method on both synthetic and real data. Experiment results show that our method outperforms the state-of-the-art (SOTA) methods. Codes and data will be available at https://github.com/hirotong/ReNeuS

研究动机与目标

• 为解决透明容器内物体 3D 重建的挑战，此类容器因多重反射与折射导致图像严重失真。
• 开发一种方法，克服现有结构光束法与神经隐式方法在折射界面违反单视角假设时的失效问题。
• 实现对脆弱博物馆标本（如昆虫或组织）在树脂或玻璃等透明封装中的高质量 3D 重建。
• 通过基于物理的渲染策略，显式建模跨多种介质（空气与玻璃）的光相互作用，同时考虑反射与折射。
• 在合成基准与新采集的真实世界数据集上评估该方法。

提出的方法

• 该方法将场景划分为两个子空间：内部空间（透明容器内部）与外部空间（周围空气），分别进行建模。
• 采用 NeuS 作为基础神经隐式表示，用于编码内部子空间内的几何与外观。
• 提出一种新型混合渲染策略，结合内部物体的体素渲染与玻璃-空气界面处的光线追踪，以模拟多重反射与折射。
• 通过最小化真实图像与渲染图像之间的光度损失来优化几何与外观，同时引入基于透射率的稀疏先验以抑制虚假边界。
• 假设透明容器的几何形状与位姿已知，且背景光照均匀且为环境光，以简化问题。
• 使用多视角图像端到端训练该方法，最终从学习到的神经隐式函数中重建出 3D 网格。

实验结果

研究问题

• RQ1 当多重反射与折射导致图像严重失真时，神经隐式方法能否准确重建透明容器内部物体的 3D 几何？
• RQ2 显式建模内部与外部子空间相比将整个场景视为单一介质，能否显著提升重建质量？
• RQ3 结合体素渲染与光线追踪的混合渲染策略，在处理复杂光相互作用时，是否显著优于单一路径或单一介质假设？
• RQ4 显式建模多重反射与折射是否能显著提升对细小几何细节（如薄翼或触角）的重建效果？
• RQ5 在真实场景中，当容器几何形状与均匀光照假设被违反时，该方法的鲁棒性如何？

主要发现

• 在合成数据集上，ReNeuS 的 Chamfer-L1 损失为 16.80，显著优于 NeuS (+) 的 22.07 与 Ours (w/o Trans Loss) 的 19.08。
• 在真实数据集上，ReNeuS 成功重建了昆虫翅膀与触角等精细细节，而 IDR 仅能重建出盒子掩码的凸包，无法恢复内部结构。
• 消融实验表明，完整版 ReNeuS 模型在网格恢复中实现零失败案例，而无透射率损失版本有两次失败，NeuS+ 有三次失败。
• 混合渲染策略能有效抑制因错误光路建模导致的虚假边界，如 NeuS+ 无法生成连贯的内部网格所示。
• 即使在无容器数据（即 w/o box）上，ReNeuS 仍优于 NeuS，表明反射诱导的虚拟视角可提升重建鲁棒性。
• 基于透射率的稀疏先验显著减少了复杂区域（如角落与边缘）中的虚假面片数量。