[论文解读] Occlusion Fields: An Implicit Representation for Non-Line-of-Sight Surface Reconstruction

Javier Grau, Markus Plack+3 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文提出了一种名为Occlusion Fields的新颖神经隐式表示方法，用于非视域（NLoS）三维表面重建，其将隐藏场景建模为墙面可见点与遮挡点之间的决策边界。通过利用飞行时间测量数据并采用端到端训练，该方法能够恢复超出费马路径准则的几何特征，并对自遮挡具有鲁棒性，在完整性和保真度方面优于体素化和先前的非体素化方法。

ABSTRACT

Non-line-of-sight reconstruction (NLoS) is a novel indirect imaging modality that aims to recover objects or scene parts outside the field of view from measurements of light that is indirectly scattered off a directly visible, diffuse wall. Despite recent advances in acquisition and reconstruction techniques, the well-posedness of the problem at large, and the recoverability of objects and their shapes in particular, remains an open question. The commonly employed Fermat path criterion is rather conservative with this regard, as it classifies some surfaces as unrecoverable, although they contribute to the signal. In this paper, we use a simpler necessary criterion for an opaque surface patch to be recoverable. Such piece of surface must be directly visible from some point on the wall, and it must occlude the space behind itself. Inspired by recent advances in neural implicit representations, we devise a new representation and reconstruction technique for NLoS scenes that unifies the treatment of recoverability with the reconstruction itself. Our approach, which we validate on various synthetic and experimental datasets, exhibits interesting properties. Unlike memory-inefficient volumetric representations, ours allows to infer adaptively tessellated surfaces from time-of-flight measurements of moderate resolution. It can further recover features beyond the Fermat path criterion, and it is robust to significant amounts of self-occlusion. We believe that this is the first time that these properties have been achieved in one system that, as an additional benefit, is trainable and hence suited for data-driven approaches.

研究动机与目标

• 解决现有非视域重建方法依赖体素表示或受制于费马路径准则限制的局限性。
• 开发一种内存高效、可微分的隐式表示方法，将可恢复性与重建统一于单一可训练框架中。
• 利用飞行时间测量数据实现非费马几何结构和自遮挡表面的重建。
• 提供一种可扩展、自适应且数据驱动的方法，适用于真实世界和噪声测量条件。

提出的方法

• 该方法将非视域表面建模为神经网络的决策边界，用于将点分类为墙面可见或被隐藏物体遮挡。
• 采用带有位置编码的神经网络，将三维坐标映射到占据概率，隐式学习遮挡边界。
• 损失函数基于预测信号与测量信号之间的时间分辨响应差异，支持端到端优化。
• 训练过程中应用泊松噪声模型及基础噪声，以模拟真实SPAD传感器响应，提升鲁棒性。
• 该表示支持对重建表面进行自适应三角化，无需固定体素网格。
• 该方法在合成数据集和真实实验数据集上进行训练与评估，包括针对真实世界泛化的领域自适应。

实验结果

研究问题

• RQ1 神经隐式表示能否恢复超出费马路径准则限制的非视域表面？
• RQ2 可微分的隐式表示在非视域重建中对强自遮挡的处理能力如何？
• RQ3 可训练的、内存高效的表示能否从中等分辨率飞行时间数据中实现高保真度网格重建？
• RQ4 通过噪声增强进行领域自适应在多大程度上提升了对真实世界测量的泛化能力？

主要发现

• 所提出的Occlusion Fields表示成功重建了隐藏物体的完整三维网格，包括传统物理模型通常遗漏的非费马特征。
• 该方法对显著自遮挡表现出鲁棒性，能够以高几何保真度恢复完全遮挡区域，如复杂和扁平物体的多视角重建所示。
• 在具有非费马结构的ShapeNet类别（如水杯、相机）中，该模型优于最佳费马情况预测，后者产生稀疏且不完整的重建结果。
• 经过噪声增强的领域自适应后，该模型可泛化至真实世界数据集，尽管由于噪声模型的物理不准确性，性能略有下降。
• 该方法实现了无需内存密集型体素网格的自适应高分辨率表面三角化，适用于数据驱动的非视域重建。
• 在噪声输入上进行端到端训练可获得具有竞争力的结果，验证了该方法的鲁棒性及其对真实传感器数据的适用性。