[论文解读] Robust Non-line-of-sight Imaging with Single Photon Detectors

Felix Heide, Matthew O’Toole+4 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Optical Sensing Technologies参考文献 24被引用 10

一句话总结

本文提出了一种针对非视距（NLOS）成像的稳健算法框架，采用单光子探测器，特别设计用于处理隐藏场景中的部分遮挡问题。通过利用时间分辨的光子探测与先进的逆渲染技术，该方法在仿真和基于SPAD的真实实验中均实现了最先进的重建质量，与先前方法相比，显著提升了对散射和遮挡效应的鲁棒性。

ABSTRACT

Imaging objects that are obscured by scattering and occlusion is an important challenge for many applications. For example, navigation and mapping capabilities of autonomous vehicles could be improved, vision in harsh weather conditions or under water could be facilitated, or search and rescue scenarios could become more effective. Unfortunately, conventional cameras cannot see around corners. Emerging, time-resolved computational imaging systems, however, have demonstrated first steps towards non-line-of-sight (NLOS) imaging. In this paper, we develop an algorithmic framework for NLOS imaging that is robust to partial occlusions within the hidden scenes. This is a common light transport effect, but not adequately handled by existing NLOS reconstruction algorithms, resulting in fundamental limitations in what types of scenes can be recovered. We demonstrate state-of-the-art NLOS reconstructions in simulation and with a prototype single photon avalanche diode (SPAD) based acquisition system.

研究动机与目标

• 解决现有NLOS重建算法在处理隐藏场景中部分遮挡问题时的根本局限性。
• 在涉及散射和遮挡的真实光传输条件下，提升非视距成像的鲁棒性。
• 开发一种算法，即使在隐藏场景部分被遮挡或光照不足的情况下，也能保持高重建保真度。
• 在基于单光子雪崩二极管（SPAD）传感器的仿真环境和真实原型系统上验证该方法。
• 在低信噪比和复杂散射等挑战性条件下，展示NLOS成像的最先进性能。

提出的方法

• 该方法采用基于单光子雪崩二极管（SPAD）的时间分辨光子探测模型，以捕捉来自隐藏场景的间接光路径。
• 将NLOS重建建模为带有正则化的逆问题，整合光传输与散射的物理约束。
• 引入一种稳健的优化框架，通过在时间窗内一致建模场景几何与反射特性，以处理部分遮挡问题。
• 算法基于辐射传输方程构建前向模型，以模拟包含多次反射和遮挡的光子路径。
• 将数据保真度项与促进稀疏性的正则化项结合，以在光子计数较低时提升重建质量。
• 该框架采用迭代优化技术实现，即使在存在噪声和测量不完整的情况下，也能收敛至稳定解。

实验结果

研究问题

• RQ1 如何使NLOS成像对隐藏场景中的部分遮挡具有鲁棒性，这是现有方法中常见但未充分解决的挑战？
• RQ2 时间分辨的单光子探测在存在散射和遮挡的情况下，能在多大程度上提升重建质量？
• RQ3 统一的算法框架是否能够以高保真度和鲁棒性处理仿真与真实世界中的NLOS成像？
• RQ4 遮挡模式对重建精度有何影响，算法如何适应不同程度的场景遮挡？
• RQ5 在相同条件下，该方法与先前最先进的NLOS重建技术相比，其定量表现如何？

主要发现

• 所提出的算法在基于SPAD采集系统的仿真和真实世界实验中均实现了最先进的重建质量。
• 该方法对部分遮挡表现出显著的鲁棒性，在现有算法失效或产生伪影的位置仍能保持高图像保真度。
• 通过时间分辨光子探测与基于物理的逆成像框架相结合，实现了鲁棒性。
• 该算法能有效处理低光子计数和复杂散射环境，实现对隐藏物体更清晰的重建。
• 定量比较显示，与先前方法相比，该方法在仿真和真实数据中均表现出更高的结构相似性与更低的重建误差。
• 原型系统在具有挑战性的条件下成功恢复了隐藏场景的几何结构与反射特性，验证了该方法的实际可行性。