[论文解读] StrongSORT: Make DeepSORT Great Again

Yunhao Du, Zhao, Zhicheng+5 more|arXiv (Cornell University)|Feb 28, 2022

Video Surveillance and Tracking Methods被引用 20

一句话总结

该论文重新研究 DeepSORT 以构建 StrongSORT，一种强大且公平的 MOT 基线，并新增两个轻量级插件模块（AFLink 和 GSI）以创建 StrongSORT++，在 MOT17、MOT20、DanceTrack 和 KITTI 上实现最先进的结果。

ABSTRACT

Recently, Multi-Object Tracking (MOT) has attracted rising attention, and accordingly, remarkable progresses have been achieved. However, the existing methods tend to use various basic models (e.g, detector and embedding model), and different training or inference tricks, etc. As a result, the construction of a good baseline for a fair comparison is essential. In this paper, a classic tracker, i.e., DeepSORT, is first revisited, and then is significantly improved from multiple perspectives such as object detection, feature embedding, and trajectory association. The proposed tracker, named StrongSORT, contributes a strong and fair baseline for the MOT community. Moreover, two lightweight and plug-and-play algorithms are proposed to address two inherent "missing" problems of MOT: missing association and missing detection. Specifically, unlike most methods, which associate short tracklets into complete trajectories at high computation complexity, we propose an appearance-free link model (AFLink) to perform global association without appearance information, and achieve a good balance between speed and accuracy. Furthermore, we propose a Gaussian-smoothed interpolation (GSI) based on Gaussian process regression to relieve the missing detection. AFLink and GSI can be easily plugged into various trackers with a negligible extra computational cost (1.7 ms and 7.1 ms per image, respectively, on MOT17). Finally, by fusing StrongSORT with AFLink and GSI, the final tracker (StrongSORT++) achieves state-of-the-art results on multiple public benchmarks, i.e., MOT17, MOT20, DanceTrack and KITTI. Codes are available at https://github.com/dyhBUPT/StrongSORT and https://github.com/open-mmlab/mmtracking.

研究动机与目标

• 为基于检测的跟踪 MOT 方法提供一个强大、公平的基线以实现公平比较。
• 通过升级检测器、嵌入和推理技巧来改进 DeepSORT，同时保持高效性。
• 通过轻量级、即插即用的模块（AFLink 和 GSI）解决两个 MOT 常见问题—缺失关联与缺失检测。
• 在多个公开 MOT 基准数据集上展示最先进的性能。
• 提供开源代码以促进学术界和产业界的采用。

提出的方法

• 用更强的检测器（YOLOX-X）和嵌入（BoT）提升 DeepSORT 以获得更好的外观建模。
• 用指数移动平均（EMA）更新外观特征来替代特征库以降低噪声。
• 结合相机运动补偿（ECC）和 NSA 卡尔曼对自适应噪声处理。
• 通过将外观和运动成本结合起来实现运动感知代价（C = lambda Aa + (1-lambda) Am）。
• 用普通全局线性分配替换级联匹配以避免对更强的跟踪器设定过于严格的先验。
• 引入 AFLink，即一个无外观跨时空探测的全局轨迹连接模型，使用时空特征预测轨迹连通性（二元分类器）。
• 引入基于高斯过程回归的高斯平滑插值（GSI）以自适应平滑参数对缺失检测进行插值，从而改善轨迹定位。

实验结果

研究问题

• RQ1 怎样将经典 MOT 框架（DeepSORT）重新设计为现代 MOT 方法的强大、公平基线？
• RQ2 轻量级、无外观的连结（AFLink）和基于高斯过程的插值（GSI）是否能在不增加大量计算成本的情况下改善关联与轨迹恢复？
• RQ3 AFLink 和 GSI 是否可以在不同跟踪器上泛化，带来一致的性能提升？
• RQ4 将级联匹配替换为普通全局分配对更强跟踪器的影响如何？
• RQ5 StrongSORT 与 StrongSORT++ 是否在 MOT17、MOT20、DanceTrack 和 KITTI 数据集上实现了最先进的结果？

主要发现

• 将 DeepSORT 的组件替换为更强的检测器和嵌入可改善 IDF1 及相关指标。
• 基于 EMA 的外观更新与 ECC/NSA 卡尔曼在 IDF1、MOTA 和速度上提供增量收益。
• 在匹配中同时考虑外观和运动成本（MC）可提升关联性；放弃匹配级联对于更强的基线可进一步提升性能。
• AFLink 在跨跟踪器上对 IDF1 和 HOTA 有显著提升，尤其是那些存在缺失关联的跟踪器。
• GSI 通过基于高斯过程的插值平滑轨迹，在保持合理 FPS 的同时提升 IDF1、MOTA 和 HOTA。
• StrongSORT++（在 AFLink 和 GSI 下的 StrongSORT）在 MOT17、MOT20、DanceTrack 和 KITTI 的多种设置中实现了最先进的结果。