[论文解读] Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR based 3D Object Detection

Lue Fan, Yuxue Yang+5 more|arXiv (Cornell University)|Apr 24, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出CTRL，一种以轨迹为中心的离线LiDAR 3D目标检测系统，通过利用双向跟踪和以轨迹为中心的学习方法，确保检测到的目标永不丢失，从而实现卓越性能。该方法在Waymo Open Dataset上无需模型集成即可超越人类水平的准确率，百万次检测中仅遗漏0.48%的车辆。

ABSTRACT

This paper aims for high-performance offline LiDAR-based 3D object detection. We first observe that experienced human annotators annotate objects from a track-centric perspective. They first label the objects with clear shapes in a track, and then leverage the temporal coherence to infer the annotations of obscure objects. Drawing inspiration from this, we propose a high-performance offline detector in a track-centric perspective instead of the conventional object-centric perspective. Our method features a bidirectional tracking module and a track-centric learning module. Such a design allows our detector to infer and refine a complete track once the object is detected at a certain moment. We refer to this characteristic as "onCe detecTed, neveR Lost" and name the proposed system CTRL. Extensive experiments demonstrate the remarkable performance of our method, surpassing the human-level annotating accuracy and the previous state-of-the-art methods in the highly competitive Waymo Open Dataset without model ensemble. The code will be made publicly available at https://github.com/tusen-ai/SST.

研究动机与目标

• 开发一种高性能的离线LiDAR 3D目标检测器，超越人类标注的准确率。
• 建模人类标注者的行为，其优先采用时间一致性进行以轨迹为中心的标注，以推断被遮挡的目标。
• 通过确保目标一旦被检测到，即使在点云密度较低的帧中也能在时间上持续可追踪，从而消除检测过程中的目标丢失。
• 通过减少对模型集成或复杂时间融合的依赖，简化自动标注流程，同时保持高准确率。

提出的方法

• 该方法首先使用基础检测器生成初始检测结果，随后通过一个双向跟踪模块，利用简单的运动模型向前和向后扩展轨迹，以填补缺失帧。
• 以轨迹为中心的学习模块同时优化整个轨迹上的所有目标候选框和点云特征，将轨迹视为第一类实体，而非单个检测结果。
• 采用轨迹级匹配（以轨迹为中心的分配）而非目标级匹配，提升了数据关联的鲁棒性。
• 支持可选的轨迹一致性优化（TCO），通过点云配准将同一轨迹中的所有预测对齐至单个高质量的标注框。
• 该框架避免使用复杂的时序融合或集成方法，实现高效推理，计算开销极低。
• 该方法设计简洁且可扩展，对输入轨迹长度无上限，显著提升性能。

实验结果

研究问题

• RQ1 通过模拟人类标注者的行为，离线3D目标检测器能否超越人类标注的准确率？
• RQ2 以轨迹为中心的检测范式（将轨迹视为第一类实体）是否优于传统的以目标为中心的方法？
• RQ3 通过双向跟踪和轨迹级优化，能否在不依赖模型集成的情况下减少低点云密度帧中的目标丢失？
• RQ4 轨迹一致性优化在多大程度上提升了检测准确率，尤其是在更高IoU阈值下？
• RQ5 缺乏模型集成和复杂时序融合对推理效率和性能有何影响？

主要发现

• CTRL在Waymo Open Dataset验证集上达到83.9的3D AP，超越3DAL报告的人类水平性能（已归一化为100以便比较）。
• 系统在百万次检测中仅遗漏0.48%的车辆，展现出极强的轨迹持续性。
• 在启用轨迹一致性优化（TCO）后，自行车类别的3D AP在IoU=0.8时提升11.6分，表明其在准刚性类别上具有强大的优化能力。
• CTRL的推理速度比3DAL快20倍，每20秒序列的总推理时间仅为46秒，相较3DAL的928秒，主要得益于对TTA或集成方法的依赖大幅降低。
• 性能提升路线图显示，从基础在线检测器到最终离线系统，AP值持续提升10.9分，其中双向跟踪和以轨迹为中心的优化是关键贡献因素。
• 该方法在不使用模型集成的情况下，优于所有先前的SOTA在线与离线检测器，包括基于集成的方法。