[论文解读] MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models

Sourav Biswas, Jerry Liu+3 more|arXiv (Cornell University)|Nov 15, 2020

Video Surveillance and Tracking Methods被引用 14

一句话总结

MuSCLE 提出了一种基于深度学习的 LiDARD 点云流压缩框架，通过利用条件熵模型对多个扫描周期中的时空冗余进行建模，联合压缩几何与强度信息。该方法在 SemanticKITTI 和 UrbanCity 数据集上相较于最先进方法实现了 6–19% 的码率降低，同时保持了下游感知任务的性能。

ABSTRACT

We present a novel compression algorithm for reducing the storage of LiDAR sensor data streams. Our model exploits spatio-temporal relationships across multiple LiDAR sweeps to reduce the bitrate of both geometry and intensity values. Towards this goal, we propose a novel conditional entropy model that models the probabilities of the octree symbols by considering both coarse level geometry and previous sweeps' geometric and intensity information. We then use the learned probability to encode the full data stream into a compact one. Our experiments demonstrate that our method significantly reduces the joint geometry and intensity bitrate over prior state-of-the-art LiDAR compression methods, with a reduction of 7-17% and 15-35% on the UrbanCity and SemanticKITTI datasets respectively.

研究动机与目标

• 解决自动驾驶车辆和机器人产生的连续 LiDAR 数据流带来的高存储与带宽成本问题。
• 克服先前方法将点云作为独立扫描周期进行压缩的局限性，忽略时间相关性。
• 联合压缩几何坐标与强度值，而这些在先前的压缩工作中常被忽略。
• 开发一个统一框架，建模时空依赖关系以提高压缩效率。
• 确保压缩后的数据保留足够质量，以支持下游感知任务（如检测与分割）的正常运行。

提出的方法

• 将 LiDAR 点云表示为量化八叉树，其中叶节点存储点的位置与强度值，内部节点存储 8 位占用符号。
• 设计一种深度条件熵模型，利用当前扫描周期的粗粒度几何信息以及前序扫描周期的空间对齐特征，预测占用符号的概率。
• 使用连续卷积操作，从多个扫描周期的相邻节点聚合多尺度上下文信息，以提升对占用与强度符号的概率估计。
• 将强度压缩条件化于前序扫描周期的空间与时间对齐特征，从而实现对强度值的更好预测。
• 将熵模型中学习到的概率分布应用于无损熵编码器（例如范围编码），生成最终的压缩比特流。
• 在单一端到端可训练框架中统一几何与强度压缩，联合优化码率与重建质量。

实验结果

研究问题

• RQ1 对多个 LiDAR 扫描周期中的时空相关性进行建模，是否能显著降低点云数据流的码率？
• RQ2 深度条件熵模型在捕捉跨扫描周期中几何与强度之间的联合依赖关系方面效果如何？
• RQ3 引入历史扫描信息在多大程度上提升了对占用与强度值的压缩效率？
• RQ4 所提出的压缩方法是否保留了足够的结构与强度保真度，以维持下游感知任务的性能？
• RQ5 几何与强度的联合压缩是否优于仅关注几何结构的压缩方法？

主要发现

• 与最先进方法相比，MuSCLE 在 UrbanCity 数据集上将几何与强度的联合码率降低了 7–17%。
• 在 SemanticKITTI 数据集上，MuSCLE 实现了 6–19% 的码率降低，同时保持了高重建质量。
• 与简单模型相比，引入连续卷积以从历史扫描周期聚合多尺度上下文信息，使强度压缩效率提高了 11–12%。
• 消融实验表明，引入历史扫描信息、自顶向下与自底向上特征，以及连续卷积，能持续降低码率，且不损失重建质量。
• MuSCLE 重建结果在下游任务中保持极小的现实感差距：语义分割与目标检测性能与未压缩数据几乎完全一致，即使在低码率下亦然。
• 该方法在多样化的城市环境中表现出鲁棒性，在大规模基准数据集上均实现了稳定增益。