[论文解读] Recent Advances in Imaging Around Corners

Tomohiro Maeda, Guy Satat+3 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Optical Sensing Technologies参考文献 88被引用 47

一句话总结

这是一个关于使用光学非直视成像的综合综述，审查 ToF、相干性和强度基方法、硬件、算法以及现实世界挑战。

ABSTRACT

Seeing around corners, also known as non-line-of-sight (NLOS) imaging is a computational method to resolve or recover objects hidden around corners. Recent advances in imaging around corners have gained significant interest. This paper reviews different types of existing NLOS imaging techniques and discusses the challenges that need to be addressed, especially for their applications outside of a constrained laboratory environment. Our goal is to introduce this topic to broader research communities as well as provide insights that would lead to further developments in this research area.

研究动机与目标

• 向广泛的研究群体介绍非视线成像。
• 综述现有的 NLOS 成像技术与传感模态。
• 讨论前向模型、重构与推断算法及其在现实世界应用中的适用性。
• 突出硬件选项及实验室外部署的实际挑战。

提出的方法

• 将NLOS技术分为 Time-of-Flight、基于相干、与基于强度的类别。
• 描述将隐藏场景映射到测量的前向模型，并讨论病态性与正则化。
• 概述重建算法（反投影、带先验的优化、共焦去卷积、基于波的以及逆渲染方法）。
• 解释用于定位、跟踪和分类的推断策略，与完整场景重建的比较。
• 概述硬件选项（streak cameras, SPADs, AMCW ToF cameras, traditional cameras, interferometers）及它们的权衡。
• 讨论基于数据驱动的方法以及神经网络在推断与识别任务中的作用。

实验结果

研究问题

• RQ1 现有哪些围绕角落成像的技术，以及它们在传感模态方面有何不同？
• RQ2 哪些前向模型和重构/推断算法能够在ToF、相干和强度方法中实现NLOS成像？
• RQ3 硬件选择以及噪声/照明条件如何影响在实验室外的实际NLOS成像？
• RQ4 在现实部署中实现实时、鲁棒的NLOS成像的主要挑战及潜在解决方案是什么？
• RQ5 数据驱动方法如何促进角落周围的定位、跟踪和分类？

主要发现

• Time-of-Flight 方法通过利用三次散射光子路径对隐藏物体位置提供椭圆约束。
• 共焦成像将前向模型简化为3D卷积，从而实现更快的去卷积重建。
• 基于相干的方法利用记忆效应和空间相干性，在散射下仍可重建或推断隐藏场景。
• 基于强度的方法依赖遮挡或墙面反射，实现带先验的实时被动跟踪与重建。
• 多种硬件模态（streak cameras, SPADs, AMCW ToF, traditional cameras, interferometers）在时间分辨率、信噪比、成本与实用性方面提供不同权衡。
• 数据驱动方法在定位和分类方面显示出希望，尽管泛化仍然是一个活跃的研究领域。