[论文解读] Steady-state Non-Line-of-Sight Imaging

Wenzheng Chen, Simon Daneau+2 more|arXiv (Cornell University)|Nov 24, 2018

Advanced Optical Sensing Technologies参考文献 52被引用 8

一句话总结

本文提出了一种新颖的稳态非视距（NLOS）成像方法，利用传统RGB相机和连续照明，通过隐藏表面方向性反射引起的间接反射空间变化，重建被遮挡物体。通过在合成数据上训练深度神经网络，该方法实现了无需时间采样的高保真彩色NLOS重建，从而在消费级传感器上实现快速、高质量的成像——实验上已在平面和复杂漫反射物体（包括一个3厘米高的假人模型）上得到验证。

ABSTRACT

Conventional intensity cameras recover objects in the direct line-of-sight of the camera, whereas occluded scene parts are considered lost in this process. Non-line-of-sight imaging (NLOS) aims at recovering these occluded objects by analyzing their indirect reflections on visible scene surfaces. Existing NLOS methods temporally probe the indirect light transport to unmix light paths based on their travel time, which mandates specialized instrumentation that suffers from low photon efficiency, high cost, and mechanical scanning. We depart from temporal probing and demonstrate steady-state NLOS imaging using conventional intensity sensors and continuous illumination. Instead of assuming perfectly isotropic scattering, the proposed method exploits directionality in the hidden surface reflectance, resulting in (small) spatial variation of their indirect reflections for varying illumination. To tackle the shape-dependence of these variations, we propose a trainable architecture which learns to map diffuse indirect reflections to scene reflectance using only synthetic training data. Relying on consumer color image sensors, with high fill factor, high quantum efficiency and low read-out noise, we demonstrate high-fidelity color NLOS imaging for scene configurations tackled before with picosecond time resolution.

研究动机与目标

• 为克服时间分辨NLOS成像的局限性，后者需要昂贵且低光子效率的仪器（如皮秒激光器和SPAD探测器）。
• 实现使用标准强度传感器和连续照明的高保真全彩NLOS成像，避免时间采样及其相关的硬件限制。
• 利用隐藏场景表面的方向性反射，生成空间变化的间接反射，从而编码形状和反射特性信息。
• 开发一种仅在合成数据上训练的可学习架构，且能泛化至不同形状和反射特性的真实世界实验采集数据。
• 证明使用消费级传感器可实现稳态NLOS成像，其性能可与最先进的脉冲系统相媲美。

提出的方法

• 提出一种稳态NLOS成像的图像形成模型，通过利用非各向同性反射引起的间接反射空间调制，避免了光线追踪。
• 推导出一种基于优化的重建方法，适用于已知反射率的平面场景，实现无需学习的快速、交互式重建（约1秒）。
• 提出一种可训练的深度神经网络，将漫反射间接反射映射至场景的反射率与几何结构，仅在间接光传输的合成渲染数据上进行训练。
• 使用模拟的间接渲染合成数据集训练网络，使模型能泛化至真实实验数据，而无需真实世界标注。
• 采用来自RGB激光器的连续白光束，通过伺服电机镜系统扫描至漫反射墙面，并对每个光斑采集单次50毫秒曝光，以收集稳态反射。
• 利用高填充因子、高量子效率、低噪声的消费级彩色相机（如Allied Vision Prosilica GT 1930C）捕获全彩间接反射，用于重建。

实验结果

研究问题

• RQ1 是否可以在无需时间采样或专用时间分辨探测器的情况下实现高保真NLOS成像？
• RQ2 是否可以利用隐藏表面方向性反射引起的间接反射空间变化，来恢复形状和反射率信息？
• RQ3 在合成数据上训练的深度学习模型是否能泛化至复杂、非平面、漫反射隐藏物体的真实世界实验采集数据？
• RQ4 是否可以仅使用传统RGB相机和连续照明实现全彩NLOS重建？
• RQ5 该方法是否能从稳态间接反射中恢复反射率和深度信息，即使对于小型或光照微弱的物体也成立？

主要发现

• 所提方法采用基于优化的方法，实现了平面物体的高质量NLOS重建，重建时间接近交互水平（约1秒），即使在后向反射表面残留漫射光晕的情况下也表现良好。
• 所学习的神经网络成功泛化至漫反射、非平面物体的实验采集数据，包括一个3厘米高的假人玩偶，能从微弱的间接反射中恢复出大致形状和位置。
• 该方法实现了使用消费级RGB传感器的全彩NLOS成像，性能可与具备皮秒时间分辨率的最先进脉冲系统相媲美。
• 该方法可泛化至深度恢复：同一网络架构在深度图上进行训练后，能为隐藏场景重建出合理的深度图，且在合成与真实实验数据上均得到验证。
• 合成训练数据集和训练好的模型已公开发布，确保了完全可复现性，并为未来基准测试提供支持。
• 该方法总采集时间约为1.25秒（5×5光斑网格），证明了其在快速、实时成像应用中的可行性。