[论文解读] SimpleTrack: Understanding and Rethinking 3D Multi-object Tracking

Ziqi Pang, Zhichao Li+1 more|arXiv (Cornell University)|Nov 18, 2021

Video Surveillance and Tracking Methods参考文献 43被引用 28

一句话总结

本文将3D MOT分解为四个模块，分析故障模式，并提出 SimpleTrack，一种强大且简单的基线，改进点包括更严格的 NMS、用于关联的 Generalized IoU、以及扩展跟踪寿命的两阶段关联。

ABSTRACT

3D multi-object tracking (MOT) has witnessed numerous novel benchmarks and approaches in recent years, especially those under the "tracking-by-detection" paradigm. Despite their progress and usefulness, an in-depth analysis of their strengths and weaknesses is not yet available. In this paper, we summarize current 3D MOT methods into a unified framework by decomposing them into four constituent parts: pre-processing of detection, association, motion model, and life cycle management. We then ascribe the failure cases of existing algorithms to each component and investigate them in detail. Based on the analyses, we propose corresponding improvements which lead to a strong yet simple baseline: SimpleTrack. Comprehensive experimental results on Waymo Open Dataset and nuScenes demonstrate that our final method could achieve new state-of-the-art results with minor modifications. Furthermore, we take additional steps and rethink whether current benchmarks authentically reflect the ability of algorithms for real-world challenges. We delve into the details of existing benchmarks and find some intriguing facts. Finally, we analyze the distribution and causes of remaining failures in ame\ and propose future directions for 3D MOT. Our code is available at https://github.com/TuSimple/SimpleTrack.

研究动机与目标

• 将检测的跟踪驱动的3D MOT 解耦为预处理、运动模型、关联和寿命周期管理，以识别故障点。
• 提出简单而有效的对每个模块的改进，以构建强基线。
• 在 Waymo Open Dataset 和 nuScenes 上评估 SimpleTrack，以确立最先进的性能。
• 重新评估基准并为未来的3D MOT研究与评估提出方向。

提出的方法

• 将3D MOT 分解为四个模块：检测的预处理、运动模型、关联和寿命周期管理。
• 在预处理阶段应用更严格的非极大值抑制（NMS），在保持召回率的同时提高精度。
• 将 Generalized IoU (GIoU) 作为关联度量，更好地处理 IoU- 与距离基础的失败。
• 采用两阶段关联，通过在高阈值通过后将低分检测与未匹配的轨迹进行匹配，以延长跟踪寿命。
• 比较运动模型（卡尔曼滤波 KF 与恒速 CV），并展示相似或依赖上下文的优势。
• 将轨迹片段插值和基于运动模型的预测整合，以提高召回率和输出评分，针对评估协议进行定制。

实验结果

研究问题

• RQ1 当前3D MOT 方法在四个管道组件中的主要故障模式是什么？
• RQ2 简单、良好围绕的改动（NMS、GIoU、两阶段关联）是否能在主要基准上实现最先进性能？
• RQ3 检测频率和基于插值的评估如何影响 nuScenes 和 Waymo Open Dataset 上的3D MOT性能？
• RQ4 基于检测的3D MOT 方法在上限极限和仍存挑战是什么？

主要发现

• SimpleTrack 在 Waymo Open Dataset 和 nuScenes 上通过适度的修改达到了与最先进方法相当的结果。
• 更严格的 NMS 在对召回率损失较小的情况下显著提高了精度。
• GIoU 基于的关联缓解了 IoU 和距离基础的故障，在二分匹配和贪婪策略下都表现良好。
• 两阶段关联显著减少 ID 切换，通过更好地维持跟踪生命周期，对 MOTA 的影响最小。
• 运动模型选择（KF 与 CV）在不同情境下有收益；KF 在高频设置通常有帮助，而 CV 在低频下可以更鲁棒。
• 在高频帧中使用基于运动模型的预测，然后以低分检测扩展生命周期，改善 nuScenes 的 AMOTA 并降低 10 Hz 设置下的 ID 切换。