[论文解读] SMOT: Single-Shot Multi Object Tracking

Wei Li, Yuanjun Xiong+3 more|arXiv (Cornell University)|Oct 30, 2020

Video Surveillance and Tracking Methods参考文献 44被引用 9

一句话总结

SMOT 是一种新颖的单阶段多目标跟踪框架，通过将 SSD 目标检测与重检测跟踪相结合，实现了实时、在线的多目标跟踪。通过引入跟踪锚框分配模块，它实现了恒定的每帧推理速度，并在 MOT17、Hannah 和 MusicVideos 数据集上达到了最先进性能，具有较低的转移误差和较高的准确性。

ABSTRACT

We present single-shot multi-object tracker (SMOT), a new tracking framework that converts any single-shot detector (SSD) model into an online multiple object tracker, which emphasizes simultaneously detecting and tracking of the object paths. Contrary to the existing tracking by detection approaches which suffer from errors made by the object detectors, SMOT adopts the recently proposed scheme of tracking by re-detection. We combine this scheme with SSD detectors by proposing a novel tracking anchor assignment module. With this design SMOT is able to generate tracklets with a constant per-frame runtime. A light-weighted linkage algorithm is then used for online tracklet linking. On three benchmarks of object tracking: Hannah, Music Videos, and MOT17, the proposed SMOT achieves state-of-the-art performance.

研究动机与目标

• 解决传统三阶段检测-跟踪流水线的局限性，这些局限性包括检测器误差、遮挡敏感性以及高误关联链接率。
• 实现实时、在线的多目标跟踪，且每帧运行时间恒定，不受目标数量影响。
• 通过利用时间一致性改进轨迹段生成，降低转移误差（将多个目标错误地关联为一个轨迹）。
• 将跟踪与单阶段检测（SSD）集成，无需依赖两阶段检测器架构。
• 在标准多目标跟踪基准上实现最先进的精度与速度表现。

提出的方法

• 提出一种跟踪锚框分配模块，将前一帧检测到的边界框作为下一帧重检测的锚框先验，模拟两阶段检测器中的提议注入机制。
• 通过利用 SSD 检测器的基于锚框的滑动窗口机制，将重检测范式适配到 SSD 检测器中，以传播时间信息。
• 采用一种轻量级在线轨迹段链接算法，基于外观特征将短轨迹段合并为长期轨迹。
• 采用两阶段流水线：(1) 通过时间锚框进行重检测生成轨迹段；(2) 利用外观相似性进行在线链接。
• 设计轨迹段生成模块使其与主干检测器解耦，从而兼容任何基于 SSD 的检测器。
• 通过保持每帧推理时间恒定，优化推理速度，即使在目标数量或分辨率增加时也保持稳定。

实验结果

研究问题

• RQ1 重检测范式能否有效适配到 SSD 等单阶段检测器上，以实现实时、在线的多目标跟踪？
• RQ2 在没有提议网络或区域提议机制的情况下，如何有效在基于 SSD 的检测器中传播时间信息？
• RQ3 当与高质量的重检测轨迹段结合时，轻量级在线链接模块能否实现高跟踪精度？
• RQ4 与现有检测-跟踪方法相比，所提出的 SMOT 框架是否能有效降低转移误差？
• RQ5 在实时多目标跟踪中，推理速度、模型大小与跟踪精度之间的权衡关系如何？

主要发现

• SMOT 在 MOT17 上实现了 0.900 的最先进 MOTA，优于先前的在线方法（如 Tracktor++ 的 0.830 和 DFS 的 0.837）。
• 在 MusicVideos 数据集上，SMOT 实现了 0.832 的 MOTA 和 0.848 的 IDF1，显著优于先前的在线跟踪器。
• SMOT 将转移误差降低至 38（相比 Tracktor++ 的 6537），表明其具有更优的轨迹完整性与更低的多目标误关联率。
• 模型在 256×256 分辨率下运行速度达 40 FPS，且在目标数量或分辨率变化时保持稳定的推理时间。
• 消融实验表明，使用 10 个锚框聚合可实现精度与效率的最佳平衡，在 Hannah 上达到 0.609 的 MOTA，在 MusicVideos 上达到 0.536 的 MOTA。
• SMOT 配合在线链接模块在 Hannah 上实现 0.615 的 MOTA，在 MusicVideos 上实现 0.772 的 MOTA，证明了链接阶段在提升轨迹质量方面的有效性。