[论文解读] Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes

Zhengqin Li, Yu-Ying Yeh+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Vision and Imaging参考文献 54被引用 10

一句话总结

本论文提出了一种基于物理的深度学习框架，仅需5–12张由手机拍摄的非约束自然图像，即可实现透明物体的3D重建。通过整合可微分的折射与反射渲染、一种新型的法向量精炼成本体积，以及一种法向量引导的PointNet++用于3D点云重建，该方法在任意环境贴图下实现了高保真度的几何恢复，并公开了代码与数据。

ABSTRACT

Recovering the 3D shape of transparent objects using a small number of unconstrained natural images is an ill-posed problem. Complex light paths induced by refraction and reflection have prevented both traditional and deep multiview stereo from solving this challenge. We propose a physically-based network to recover 3D shape of transparent objects using a few images acquired with a mobile phone camera, under a known but arbitrary environment map. Our novel contributions include a normal representation that enables the network to model complex light transport through local computation, a rendering layer that models refractions and reflections, a cost volume specifically designed for normal refinement of transparent shapes and a feature mapping based on predicted normals for 3D point cloud reconstruction. We render a synthetic dataset to encourage the model to learn refractive light transport across different views. Our experiments show successful recovery of high-quality 3D geometry for complex transparent shapes using as few as 5-12 natural images. Code and data are publicly released.

研究动机与目标

• 解决从少量非约束图像中进行透明物体3D重建的病态问题。
• 克服透明材料中因折射与反射导致的复杂光传输带来的挑战。
• 开发一种数据驱动方法，利用图像形成过程的物理定律（斯涅尔定律、菲涅尔方程）以提升形状恢复效果。
• 仅使用在任意环境贴图下拍摄的手机图像，实现高质量的3D重建，避免受控采集设置。
• 发布大规模逼真的合成数据集与公开代码，以支持可复现性与未来研究。

提出的方法

• 引入一个可微分渲染层，利用斯涅尔定律与菲涅尔方程，对最多两次弹跳的折射与反射光路进行建模。
• 提出一种新型成本体积，其在由输入图像法向图与环境贴图所张成的四维空间中运行，即使在外观变化非局部的情况下，也能实现对应关系学习。
• 采用潜在空间优化策略，利用训练好的解码器对预测法向量进行正则化，确保其位于自然形状流形上。
• 使用改进的PointNet++架构，结合自定义特征映射，融合表面法向量、可见性掩码与渲染误差，以重建3D点云。
• 设计一个基于GPU加速光线追踪器的合成数据集，通过在多样化自然环境贴图下渲染随机透明形状，用于模型训练。
• 在特征映射阶段应用基于渲染误差与全内反射检测的视图选择机制，以提升重建过程中的特征聚合效果。

实验结果

研究问题

• RQ1 深度神经网络能否仅从5–12张非约束自然图像中有效重建透明物体的3D形状？
• RQ2 如何将折射与反射的可微分渲染集成到3D重建流程中以提升精度？
• RQ3 能否设计一种成本体积，以处理输入图像、环境贴图与法向图之间在透明材料上的四维对应关系？
• RQ4 物理先验（斯涅尔定律、菲涅尔方程）在真实世界图像上的泛化能力与重建质量提升方面，其作用程度如何？
• RQ5 潜在空间中的法向量优化是否在恢复透明形状准确表面几何方面优于直接的像素级优化？

主要发现

• 该方法仅使用手机相机拍摄的5–12张自然图像，成功重建了复杂透明形状的高质量3D几何结构。
• 可微分渲染层能够准确建模折射与反射，显著提升了法向量预测与最终3D重建的质量。
• 潜在空间中的法向量优化相比直接像素级优化，能获得更高的重建精度，因其在自然形状流形上施加了更强的正则化。
• 所提出的成本体积即使在透明材料外观变化非局部的情况下，仍能有效捕捉输入视图与环境贴图之间的对应关系。
• 在特征映射阶段，基于渲染误差的视图选择方法在3D重建精度上优于平均融合与最近视图选择方法。
• 模型在真实世界数据上表现出良好的泛化能力，其在合成与真实数据集上的定性与定量结果均表明性能优越，且公开的代码与数据支持可复现性。