[论文解读] Virtual Wave Optics for Non-Line-of-Sight Imaging

Xiaochun Liu, Ibón Guillén+7 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Optical Sensing Technologies参考文献 18被引用 7

一句话总结

本文通过将光传输建模为相位场波，提出了一种虚拟波光学方法用于非视距（NLOS）成像，能够准确重建包含多重散射、遮挡及任意材质的复杂场景。通过利用瑞利-索末菲衍射积分将NLOS成像重新表述为一种虚拟视距问题，该方法在存在噪声、真实世界条件下的瞬态视频与可调焦能力下，相较于现有技术展现出更优的速度、精度与鲁棒性。

ABSTRACT

Non-Line-of-Sight (NLOS) imaging allows to observe objects partially or fully occluded from direct view, by analyzing indirect diffuse reflections off a secondary, relay surface. Despite its many potential applications, existing methods lack practical usability due to several shared limitations, including the assumption of single scattering only, lack of occlusions, and Lambertian reflectance. We lift these limitations by transforming the NLOS problem into a virtual Line-Of-Sight (LOS) one. Since imaging information cannot be recovered from the irradiance arriving at the relay surface, we introduce the concept of the phasor field, a mathematical construct representing a fast variation in irradiance. We show that NLOS light transport can be modeled as the propagation of a phasor field wave, which can be solved accurately by the Rayleigh-Sommerfeld diffraction integral. We demonstrate for the first time NLOS reconstruction of complex scenes with strong multiply scattered and ambient light, arbitrary materials, large depth range, and occlusions. Our method handles these challenging cases without explicitly developing a light transport model. By leveraging existing fast algorithms, we outperform existing methods in terms of execution speed, computational complexity, and memory use. We believe that our approach will help unlock the potential of NLOS imaging, and the development of novel applications not restricted to lab conditions. For example, we demonstrate both refocusing and transient NLOS videos of real-world, complex scenes with large depth.

研究动机与目标

• 解决现有NLOS成像方法在假设单次散射、朗伯反射及无遮挡条件下的局限性。
• 实现在具有复杂光照、材质与深度变化的真实世界环境中实用化的NLOS成像。
• 通过引入虚拟相位场表示，将NLOS成像与传统视距波光学统一。
• 在无需显式光传输建模的情况下实现高性能重建，利用成熟的波传播算法。
• 在复杂、杂乱的场景中实现瞬态NLOS视频重建与实时调焦。

提出的方法

• 提出相位场作为数学构造，表示光强相对于长期平均值的复包络，保留中继壁处的相位信息。
• 将NLOS光传输建模为受瑞利-索末菲衍射积分支配的波传播，实现波前演化的精确模拟。
• 使用菲涅尔近似将衍射积分简化为二维卷积，通过标准图像处理技术实现快速计算。
• 将漫反射中继壁视为虚拟孔径，将NLOS问题转化为具有已知波前的虚拟视距成像系统。
• 应用成熟的波成像算子（如与核的卷积）从测量数据中重建图像，无需显式逆向建模。
• 利用现有的快速波基成像算法，相比先前方法显著降低计算复杂度与内存占用。

实验结果

研究问题

• RQ1 NLOS成像能否被重新表述为基于波的虚拟视距问题，以提升鲁棒性与性能？
• RQ2 尽管漫反射表面会破坏相位信息，如何在NLOS成像中保留并利用相位信息？
• RQ3 相位场形式化方法能否处理真实场景中强烈的多重散射、环境光及任意材料反射率？
• RQ4 虚拟波光学方法在速度、精度与抗噪性方面是否优于现有NLOS方法？
• RQ5 该方法能否在复杂、遮挡且非实验室环境的场景中实现瞬态NLOS视频与调焦？

主要发现

• 所提出的虚拟波光学方法在重建质量上优于现有方法，尤其在强多重散射与非均匀背景噪声的场景中表现更优。
• 在噪声数据集中，该方法优于滤波反投影与去卷积技术，且无需显式估计噪声水平仍能保持精度。
• 该方法可实现高质量调焦与真实世界复杂场景的瞬态NLOS视频重建，适用于大深度范围与遮挡环境。
• 相位场形式化方法可在不显式构建完整光传输矩阵的情况下准确建模光传输，从而降低计算复杂度。
• 该方法对非朗伯材质与复杂场景几何结构具有鲁棒性，展现出超越受控实验室环境的实际可用性。
• 通过菲涅尔近似实现的二维卷积重建方法执行速度快，相比先前方法在速度与内存效率方面表现更优。