[论文解读] Real-time 3D reconstruction of complex scenes using single-photon lidar: when image processing meets computer graphics

Julián Tachella, Yoann Altmann+6 more|arXiv (Cornell University)|May 16, 2019

Advanced Optical Sensing Technologies参考文献 29被引用 2

一句话总结

该论文提出了一种用于单光子激光雷达的实时3D重建框架，结合了统计建模与可扩展的计算机图形算法，即使在复杂、杂乱的环境中存在每个像素多个表面的情况下，也能实现高达320米远的户外场景亚20毫秒处理，达到视频速率重建，适用于实际应用。

ABSTRACT

Single-photon lidar has emerged as a prime candidate technology for depth imaging through challenging environments. Until now, a major limitation has been the significant amount of time required for the analysis of the recorded data. Here we show a new computational framework for real-time three-dimensional (3D) scene reconstruction from single-photon data. By combining statistical models with highly scalable computational tools from the computer graphics community, we demonstrate 3D reconstruction of complex outdoor scenes with processing times of the order of 20 ms, where the lidar data was acquired in broad daylight from distances up to 320 metres. The proposed method can handle an unknown number of surfaces in each pixel, allowing for target detection and imaging through cluttered scenes. This enables robust, real-time target reconstruction of complex moving scenes, paving the way for single-photon lidar at video rates for practical 3D imaging applications.

研究动机与目标

• 为克服单光子激光雷达在复杂环境中长期处理时间过长而限制其实时应用的问题。
• 实现在存在多个像素表面的移动、杂乱户外场景中的鲁棒3D重建。
• 通过计算机图形学中的可扩展计算技术，实现每帧亚20毫秒的视频速率处理。
• 通过处理每个像素未知数量的表面，实现密集杂乱环境中的目标检测与成像。
• 展示在白天广阔环境下使用单光子激光雷达实现实用的实时3D成像。

提出的方法

• 该框架将单光子回波信号的统计模型与计算机图形学中的高度可扩展渲染算法相结合。
• 采用概率方法对每个像素的多个表面回波进行建模，从而实现在杂乱场景中的重建。
• 该方法使用体素表示法，从光子时间戳和空间坐标重建3D几何结构。
• 应用先进的滤波与聚类技术，分离多个反射并减少光子数据中的噪声。
• 计算流水线经过优化，支持GPU加速，实现实时性能。
• 该系统处理具有高动态范围和低信噪比的单光子激光雷达传感器数据。

实验结果

研究问题

• RQ1 单光子激光雷达数据能否实现实时处理，以应对复杂户外场景？
• RQ2 在杂乱环境中，如何准确重建每个像素的多个表面？
• RQ3 何种计算技术可实现3D激光雷达数据每帧亚20毫秒的处理？
• RQ4 能否在白天广阔环境下，利用单光子激光雷达实现鲁棒的目标检测与成像？
• RQ5 可扩展的计算机图形算法在加速稀疏光子数据3D重建中起到何种作用？

主要发现

• 该框架实现每帧3D场景重建时间低于20毫秒，支持视频速率处理。
• 该方法成功实现了在白天广阔环境下，距离达320米的复杂户外场景重建。
• 它可处理每个像素未知数量的表面，从而实现对杂乱环境的精确成像。
• 该系统能够实现对运动场景的鲁棒重建，展示了实用的实时性能。
• 统计建模与计算机图形技术的结合显著加速了处理过程，同时未牺牲重建质量。