[论文解读] Real-time Non-line-of-Sight imaging of dynamic scenes

Ji Hyun Nam, Eric Brandt+4 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Optical Sensing Technologies参考文献 19被引用 7

一句话总结

本论文提出一种基于28像素SPAD阵列和扩展的相位场重建算法的实时非视距（NLOS）视频重建系统，通过将信噪比（SNR）、运动模糊、角度分辨率和深度分辨率与场景尺寸解耦，实现了对动态非 retro-reflective 场景的实时视频重建。该方法突破了以往小场景和低信号效率的限制，实现了前所未有的实时NLOS成像性能。

ABSTRACT

Non-Line-of-Sight (NLOS) imaging aims at recovering the 3D geometry of objects that are hidden from the direct line of sight. In the past, this method has suffered from the weak available multibounce signal limiting scene size, capture speed, and reconstruction quality. While algorithms capable of reconstructing scenes at several frames per second have been demonstrated, real-time NLOS video has only been demonstrated for retro-reflective objects where the NLOS signal strength is enhanced by 4 orders of magnitude or more. Furthermore, it has also been noted that the signal-to-noise ratio of reconstructions in NLOS methods drops quickly with distance and past reconstructions, therefore, have been limited to small scenes with depths of few meters. Actual models of noise and resolution in the scene have been simplistic, ignoring many of the complexities of the problem. We show that SPAD (Single-Photon Avalanche Diode) array detectors with a total of just 28 pixels combined with a specifically extended Phasor Field reconstruction algorithm can reconstruct live real-time videos of non-retro-reflective NLOS scenes. We provide an analysis of the Signal-to-Noise-Ratio (SNR) of our reconstructions and show that for our method it is possible to reconstruct the scene such that SNR, motion blur, angular resolution, and depth resolution are all independent of scene size suggesting that reconstruction of very large scenes may be possible. In the future, the light efficiency for NLOS imaging systems can be improved further by adding more pixels to the sensor array.

研究动机与目标

• 克服以往NLOS成像在一般（非retro-reflective）场景中因采集时间过长和信号效率低而仅能实现分钟级或数十秒级采集的局限。
• 实现对动态非retro-reflective物体的实时NLOS视频重建，这些场景此前因多路径信号微弱而难以实现。
• 将信噪比（SNR）、运动模糊、角度分辨率和深度分辨率与场景尺寸解耦，从而实现大规模场景重建的潜力。
• 开发一种计算高效、多阶段、多线程的处理流水线，通过GPU硬件加速重建，保持实时性能。
• 对NLOS成像中的信噪比行为进行详细分析，表明噪声和信号对距离的依赖关系并非简单衰减，必须超越传统的1/r^4模型进行建模。

提出的方法

• 系统使用28像素SPAD阵列捕获通过中继表面间接光路的单光子时间事件。
• 多阶段、多线程流水线实时处理光子数据：从HydraHarp硬件采集数据，解析T3格式记录，进行频域直方图（FDH）分箱，GPU加速的快速RSD重建，以及显示。
• 将相位场重建方法扩展以包含时间帧平均，从而在整个体积内稳定信噪比并减少运动模糊。
• FDH分箱使用预计算的正弦和余弦查找表，并结合OpenMP并行化，实现高性能频域处理。
• RSD（快速场景重建）算法通过基于FFT的卷积与预计算核结合，从飞行时间光子数据中重建三维场景。
• 采用与深度相关的时域平均方案，将多个重建的图像切片组合，生成信噪比一致的稳定2D视频帧。

实验结果

研究问题

• RQ1 尽管多路径信号极其微弱，是否仍能实现实时NLOS动态非retro-reflective场景视频？
• RQ2 在使用先进重建与探测方法时，NLOS成像中的信噪比（SNR）是否能与场景尺寸无关地独立缩放？
• RQ3 NLOS信号强度随距离的衰减与经典1/r^4模型相比如何？这对大规模场景重建有何影响？
• RQ4 是否能通过重建设计准确建模并缓解NLOS成像中的噪声传播，尤其是在噪声在图像形成前即被引入的情况下？
• RQ5 在SPAD阵列与GPU加速条件下，NLOS重建中计算效率与实时性能能在多大程度上实现？

主要发现

• 该系统仅使用28个SPAD像素即实现了对动态非retro-reflective场景的实时NLOS视频重建，相比以往需要数分钟或数十秒的方法实现了重大飞跃。
• 信噪比（SNR）、运动模糊、角度分辨率和深度分辨率均与场景尺寸无关，表明通过进一步传感器扩展，大规模NLOS成像具有可行性。
• 在典型重建距离下，信号随距离的衰减程度低于1/r^4，挑战了以往假设，使更大场景的重建成为可能。
• 所提出的结合时间平均的相位场重建方法在整个体积内稳定了信噪比，消除了远距离区域的信噪比下降问题。
• 多阶段、多线程流水线保持了恒定的数据流，队列延迟极低，实现了每秒数帧的连续实时视频输出。
• 该方法表明，NLOS成像中的噪声并非等同于传统相机噪声，因其在重建前即被引入，必须相应地进行建模。