[论文解读] Real-Time Spatio-Temporal LiDAR Point Cloud Compression

Yu Feng, Shaoshan Liu+1 more|arXiv (Cornell University)|Aug 16, 2020

Computer Graphics and Visualization Techniques参考文献 26被引用 4

一句话总结

本文提出了一种实时时空LiDAR点云压缩系统，通过重用空间编码平面实现时间编码，同时利用关键帧内的空间冗余和连续帧间的时间冗余。该方法实现了高达90倍的压缩率，具备实时性能（>10 FPS），并在目标检测和配准等端到端应用中保持了高精度，优于MPEG的标准。

ABSTRACT

Compressing massive LiDAR point clouds in real-time is critical to autonomous machines such as drones and self-driving cars. While most of the recent prior work has focused on compressing individual point cloud frames, this paper proposes a novel system that effectively compresses a sequence of point clouds. The idea to exploit both the spatial and temporal redundancies in a sequence of point cloud frames. We first identify a key frame in a point cloud sequence and spatially encode the key frame by iterative plane fitting. We then exploit the fact that consecutive point clouds have large overlaps in the physical space, and thus spatially encoded data can be (re-)used to encode the temporal stream. Temporal encoding by reusing spatial encoding data not only improves the compression rate, but also avoids redundant computations, which significantly improves the compression speed. Experiments show that our compression system achieves 40x to 90x compression rate, significantly higher than the MPEG's LiDAR point cloud compression standard, while retaining high end-to-end application accuracies. Meanwhile, our compression system has a compression speed that matches the point cloud generation rate by today LiDARs and out-performs existing compression systems, enabling real-time point cloud transmission.

研究动机与目标

• 为自动驾驶汽车和无人机等自主系统中大规模LiDAR点云数据日益增长的实时高效压缩需求提供解决方案。
• 同时提升压缩率、压缩速度和端到端应用精度——这三个指标在以往工作中常存在权衡。
• 利用序列LiDAR点云中的空间冗余（帧内）和时间冗余（帧间），而这一方面在以往压缩方法中尚未得到充分探索。
• 通过匹配或超过现代LiDAR点云生成速率（5–20 Hz）实现实时传输和云卸载。
• 评估压缩质量不依赖于传统指标（如PSNR），而是基于配准、目标检测和分割等任务中的端到端应用精度。

提出的方法

• 将原始点云转换为距离图像，以实现高效、结构化的处理并加速压缩。
• 在序列中识别一个关键帧（K-帧），并通过迭代拟合平面到点群来执行空间编码，利用真实世界场景中许多点位于平面表面上的事实。
• 后续帧（P-帧）通过IMU测量值变换到K-帧的坐标系中，以对齐重叠区域。
• 时间编码通过重用K-帧中识别出的平面来编码P-帧中的点，减少冗余计算，提高压缩效率。
• 通过利用帧间的空间一致性来补偿IMU的不准确性，增强鲁棒性。
• 通过多CPU核心并行实现加速处理，实现高吞吐量（PC上最高达52.1 FPS，Jetson TX2上达20.5 FPS）。

Fig. 1: Overview of our compression system, which compresses a sequence of consecutive point clouds. All the points clouds are converted to range images to accelerate the compression speed. We first spatially encode the key point-cloud (K-frame) in the sequence, typically the middle one. The spatial

实验结果

研究问题

• RQ1 能否通过联合利用LiDAR点云序列中的空间和时间冗余，实现高于当前最先进方法的压缩率？
• RQ2 该系统能否实现与现代LiDAR生成速率（5–20 Hz）相匹配或更高的实时压缩速度？
• RQ3 该压缩方法是否能保留足够的几何保真度，以在目标检测和配准等下游机器人应用中保持高精度？
• RQ4 在时间编码中重用空间编码平面对计算效率和压缩性能有何影响？
• RQ5 对多个连续帧进行联合编码对压缩率、速度和应用精度有何影响？

主要发现

• 所提系统实现了高达90倍的压缩率，显著优于MPEG的LiDAR点云压缩标准。
• 压缩速度在PC上最高达52.1 FPS，在移动设备Jetson TX2上达20.5 FPS，超过现代LiDAR通常的5–20 Hz生成速率。
• 该方法在配准、目标检测和分割任务中保持了与原始点云相当的端到端应用精度，优于现有压缩方案。
• 压缩速度对处理的连续帧数高度敏感，通过帧间并行化在四核CPU上实现了最高5.4倍的加速。
• 应用精度对编码帧数的变化基本不敏感，而压缩率保持稳定，因为空间编码和时间编码点的比例保持一致。
• 该系统表明，重用空间编码平面用于时间编码可减少冗余计算，同时提升处理速度和压缩效率。

Fig. 2: Different data structures used in our compression. The raw point clouds are converted to range images. After spatial and temporal encoding, most of the tiles in the range images are plane-encoded; the unfit tiles are left in the residual maps.