[论文解读] StrObe: Streaming Object Detection from LiDAR Packets

Davi Frossard, Simon Su+4 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Neural Network Applications参考文献 30被引用 8

一句话总结

StrObe 提出了一种流式 LiDAR 目标检测框架，通过使用多尺度空间记忆在实时处理单个 LiDAR 数据包时保持场景上下文，实现端到端延迟仅 21ms——比完整扫描基线快 6 倍——同时在流式处理和传统完整扫描设置下均达到或超越当前最先进性能。

ABSTRACT

Many modern robotics systems employ LiDAR as their main sensing modality due to its geometrical richness. Rolling shutter LiDARs are particularly common, in which an array of lasers scans the scene from a rotating base. Points are emitted as a stream of packets, each covering a sector of the 360° coverage. Modern perception algorithms wait for the full sweep to be built before processing the data, which introduces an additional latency. For typical 10Hz LiDARs this will be 100ms. As a consequence, by the time an output is produced, it no longer accurately reflects the state of the world. This poses a challenge, as robotics applications require minimal reaction times, such that maneuvers can be quickly planned in the event of a safety-critical situation. In this paper we propose StrObe, a novel approach that minimizes latency by ingesting LiDAR packets and emitting a stream of detections without waiting for the full sweep to be built. StrObe reuses computations from previous packets and iteratively updates a latent spatial representation of the scene, which acts as a memory, as new evidence comes in, resulting in accurate low-latency perception. We demonstrate the effectiveness of our approach on a large scale real-world dataset, showing that StrObe far outperforms the state-of-the-art when latency is taken into account, and matches the performance in the traditional setting.

研究动机与目标

• 解决基于 LiDAR 的机器人感知中的延迟问题，其中完整扫描累积可引入高达 100ms 的延迟，影响实时关键响应。
• 实现在无需等待完整 360° 扫描的情况下，从部分、顺序到达的 LiDAR 数据包中进行准确的目标检测。
• 开发一种带记忆的模型，通过重用先前计算结果来维持场景一致性，并提升对碎片化观测的检测性能。
• 引入一个新基准数据集 PacketATG4D，包含以 100Hz 采样的逐包 LiDAR 数据及高精度标注，用于评估流式感知性能。
• 提出一种延迟感知的 mAP 指标，以量化缓冲和处理延迟对实际性能下降的影响。

提出的方法

• 将到达的 LiDAR 数据包体素化为鸟瞰图（BEV）特征网格，以实现高效的空域处理。
• 采用轻量级卷积主干网络，仅处理当前观测区域，最大限度减少每包数据的计算量。
• 引入多尺度空间记忆模块，随每个新数据包逐步更新，作为持久的场景表征。
• 使用可学习的卷积操作聚合历史观测并更新记忆，实现对先前计算的高效重用。
• 以流式方式处理数据：每个数据包在到达后立即处理，端到端检测延迟控制在 21ms 内。
• 利用高分辨率高清地图作为辅助输入，尽管模型在无地图情况下仍表现稳健，表明记忆在性能中的核心作用。

实验结果

研究问题

• RQ1 是否可以通过处理单个数据包而非等待完整扫描来实现极低延迟的 LiDAR 目标检测？
• RQ2 当物体在多个部分 LiDAR 观测中被分割时，模型如何维持检测精度？
• RQ3 缓冲和处理延迟对实际检测性能的影响如何？能否实现定量测量？
• RQ4 可学习的空间记忆是否能有效整合来自多个部分观测的证据，从而提升流式数据的检测性能？
• RQ5 在考虑实时延迟的情况下，流式检测性能与传统完整扫描检测相比如何？

主要发现

• StrObe 实现了 21ms 的端到端延迟（10ms 用于数据包累积，11ms 用于推理），比完整扫描基线（128ms）快 6 倍。
• 在 PacketATG4D 基准测试中，StrObe 在流式设置下对车辆的 mAP 达到 91.8%，对行人 80.5%，对骑行人 80.3%，优于所有基线模型。
• 在数据包流式处理设置下，模型性能与完整扫描设置几乎完全一致（如车辆 mAP 为 91.8%），表明所提方法的延迟成本可忽略不计。
• 消融实验表明，多尺度空间记忆至关重要——移除该模块会使 mAP 下降超过 15 个百分点，而基于注意力的记忆机制效果不如可学习的卷积聚合方法。
• 高清地图组件可轻微提升性能，但并非必需，因为移除后性能仅出现轻微下降，进一步证实记忆在性能中的核心作用。
• 定性结果表明，StrObe 能在完整点云尚未完全可见时即检测到物体，并随着新点云的到达动态更新检测结果，展现出对部分观测的强鲁棒性。