[论文解读] PolarStream: Streaming Lidar Object Detection and Segmentation with Polar Pillars

Qi Chen, Sourabh Vora+1 more|arXiv (Cornell University)|Jun 14, 2021

Remote Sensing and LiDAR Applications参考文献 33被引用 8

一句话总结

PolarStream 引入了一种基于极坐标柱体的流式激光雷达感知框架，以高效表示楔形点云区域，减少内存和计算浪费。它通过多尺度填充增强空间上下文，并通过特征去畸变和按距离分层的卷积操作解决极坐标网格的畸变问题，在 nuScenes 数据集上实现了最先进性能，且延迟低于非流式方法。

ABSTRACT

Recent works recognized lidars as an inherently streaming data source and showed that the end-to-end latency of lidar perception models can be reduced significantly by operating on wedge-shaped point cloud sectors rather then the full point cloud. However, due to use of cartesian coordinate systems these methods represent the sectors as rectangular regions, wasting memory and compute. In this work we propose using a polar coordinate system and make two key improvements on this design. First, we increase the spatial context by using multi-scale padding from neighboring sectors: preceding sector from the current scan and/or the following sector from the past scan. Second, we improve the core polar convolutional architecture by introducing feature undistortion and range stratified convolutions. Experimental results on the nuScenes dataset show significant improvements over other streaming based methods. We also achieve comparable results to existing non-streaming methods but with lower latencies. The code and pretrained models are available at \url{https://github.com/motional/polarstream}.

研究动机与目标

• 为解决在流式激光雷达感知中使用矩形表示方式的低效性，其在楔形区域上造成内存和计算资源的浪费。
• 通过利用跨扫描的相邻扇区特征，提升流式激光雷达模型中的空间上下文理解。
• 克服极坐标网格表示中的畸变问题，该问题会阻碍 3D 检测中的卷积操作。
• 在保持高检测、分割和全景分割精度的同时，实现端到端的流式推理并实现最低延迟。
• 弥合极坐标与笛卡尔网格表示在 3D 目标检测中的性能差距。

提出的方法

• 使用极坐标柱体而非矩形体素来表示激光雷达扇区，以减少内存和计算开销。
• 通过融合当前扫描中前一扇区和前次扫描中后一扇区的特征，实现多尺度上下文填充。
• 引入特征去畸变模块，将极坐标特征转换到标准笛卡尔空间，用于分类分支。
• 设计按距离分层的卷积与归一化层，根据距离范围自适应调整卷积核大小和归一化方式，以应对不同大小的柱体。
• 训练一个多任务模型，实现在流式管道中同时进行 3D 目标检测、激光雷达分割和全景分割。
• 使用在扇区间共享特征的主干网络，以在聚合上下文信息的同时保持低延迟。

实验结果

研究问题

• RQ1 极坐标柱体能否为流式激光雷达扇区提供比矩形体素更高效的表示？
• RQ2 来自相邻扇区的多尺度上下文填充是否能提升流式激光雷达感知中的检测与分割性能？
• RQ3 特征去畸变与按距离分层的卷积能否缓解基于极坐标网格的 3D 检测中的畸变问题？
• RQ4 流式模型能否在降低端到端延迟的同时，实现与非流式模型相当的性能？
• RQ5 单一模型能否以流式方式联合完成 3D 检测、分割和全景分割？

主要发现

• 在 nuScenes 验证集上，PolarStream 使用 32 个扇区时达到 77.7 的全景质量（PQ），优于所有先前的流式方法。
• 在 32 个扇区下，PolarStream 相较基线极坐标柱体模型，检测 mAP 提升 5.7 个百分点。
• 特征去畸变与按距离分层卷积的结合使检测 mAP 从 48.2 提升至 50.3，显著缩小与笛卡尔柱体（50.6）的差距。
• PolarStream 在 nuScenes 上实现 61.4 的 NDS 和 77.7 的 PQ，性能与顶尖非流式模型相当，且速度至少快两倍。
• 双向上下文填充即使在完整扫描的极坐标柱体基线之上也提升了性能，尤其在高扇区数量（如 32 个扇区）时表现更优。
• 所提技术仅增加 0.5ms 的运行时开销，适合实时部署。