[论文解读] Recent Advances on Non-Line-of-Sight Imaging: Conventional Physical Models, Deep Learning, and New Scenes

Ruixu Geng, Hu Yang+1 more|arXiv (Cornell University)|Apr 28, 2021

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文全面综述了非视域（NLOS）成像技术，涵盖传统物理模型与基于深度学习的方法，重点研究主动与被动成像技术。文章引入了新型NLOS场景，如双次反射成像与钥匙孔成像，突出展示了重建质量提升、信噪比（SNR）改善以及扫描时间减少的进展，同时指出了通用性与实时性方面的挑战，为未来研究指明方向。

ABSTRACT

As an emerging technology that has attracted huge attention, non-line-of-sight (NLOS) imaging can reconstruct hidden objects by analyzing the diffuse reflection on a relay surface, with broad application prospects in the fields of autonomous driving, medical imaging, and defense. Despite the challenges of low signal-to-noise ratio (SNR) and high ill-posedness, NLOS imaging has been developed rapidly in recent years. Most current NLOS imaging technologies use conventional physical models, constructing imaging models through active or passive illumination and using reconstruction algorithms to restore hidden scenes. Moreover, deep learning algorithms for NLOS imaging have also received much attention recently. This paper presents a comprehensive overview of both conventional and deep learning-based NLOS imaging techniques. Besides, we also survey new proposed NLOS scenes, and discuss the challenges and prospects of existing technologies. Such a survey can help readers have an overview of different types of NLOS imaging, thus expediting the development of seeing around corners.

研究动机与目标

• 提供非视域（NLOS）成像技术近期进展的系统性综述。
• 分析传统物理建模方法的局限性，包括信噪比（SNR）低与病态性高。
• 评估深度学习在提升NLOS重建质量与泛化能力方面的角色与潜力。
• 探索新兴的NLOS成像场景，如双次反射与钥匙孔成像，拓展传统设置之外的应用范围。
• 识别实际、实时、鲁棒的NLOS成像系统所面临的开放性挑战与未来研究方向。

提出的方法

• 根据照明方式将NLOS成像分为主动与被动方法：主动方法使用可控光源（如超快激光），而被动方法依赖环境光或发射光。
• 回顾传统重建技术，如反投影法、逆方法与基于波的模型，这些方法依赖精确的前向成像模型与时间分辨检测。
• 分析基于深度学习的方法，区分端到端网络与融合物理约束的物理信息网络。
• 提出两种新型NLOS场景：双次反射成像，其中隐藏物体遮挡光线，在中继表面形成可检测的阴影；钥匙孔成像，通过小孔限制照明与探测范围。
• 讨论提升泛化能力的策略，包括迁移学习、无监督学习以及增强的合成数据集生成。
• 提出阵列探测器（如SPAD阵列）可通过消除顺序扫描，减少扫描时间，实现实时成像。

实验结果

研究问题

• RQ1 如何优化传统物理模型以提升NLOS成像中的信噪比（SNR）并降低病态性？
• RQ2 深度学习模型在未见场景、参数（如BRDF、时间抖动）及新隐藏物体构型下的泛化能力达到何种程度？
• RQ3 新兴NLOS成像场景（如双次反射与钥匙孔成像）的性能与局限性如何？
• RQ4 无监督或迁移学习技术如何在不依赖大规模标注数据集的情况下增强模型泛化能力？
• RQ5 为实现实际应用中实时、高分辨率的NLOS成像，需要哪些软硬件创新？

主要发现

• 采用超快激光与时间分辨探测器的主动NLOS成像可通过捕捉三次反射光实现高分辨率三维重建，有研究实现了1.43 km的成像距离。
• 被动NLOS成像仍局限于低质量的二维重建或定位，尽管近期方法可对部分遮挡物体估计形状与深度。
• 基于深度学习的方法，尤其是物理信息网络，通过学习场景先验并嵌入物理约束，显著提升了重建质量。
• 双次反射NLOS成像通过检测被遮挡的光投影，实现障碍物后的成像，适用于自动驾驶与搜救等应用。
• 钥匙孔成像通过小孔限制照明与探测范围，使NLOS成像适用于受限环境（如窗帘遮挡的房间），减少空间需求。
• 泛化能力仍是关键挑战：当前在合成数据上训练的深度学习模型在未见参数或场景下表现有限，凸显了对无监督或迁移学习方法的迫切需求。