[论文解读] SFSORT: Scene Features-based Simple Online Real-Time Tracker

Mohammad Morsali, Zeinab Sharifi+4 more|arXiv (Cornell University)|Apr 11, 2024

Video Surveillance and Tracking Methods被引用 4

一句话总结

SFSORT 是世界上最快的多目标跟踪器，在 MOT17 上达到 2242 Hz，在 MOT20 上达到 304 Hz，通过用新型边界框相似度指数代价函数替代卡尔曼滤波器，并利用场景特征进行跟踪关联。它在 MOT17 上实现了 SOTA 的 HOTA 61.7%，在 MOT20 上实现了 60.9%，同时在仅使用 CPU 的系统上保持了实时性能。

ABSTRACT

This paper introduces SFSORT, the world's fastest multi-object tracking system based on experiments conducted on MOT Challenge datasets. To achieve an accurate and computationally efficient tracker, this paper employs a tracking-by-detection method, following the online real-time tracking approach established in prior literature. By introducing a novel cost function called the Bounding Box Similarity Index, this work eliminates the Kalman Filter, leading to reduced computational requirements. Additionally, this paper demonstrates the impact of scene features on enhancing object-track association and improving track post-processing. Using a 2.2 GHz Intel Xeon CPU, the proposed method achieves an HOTA of 61.7\% with a processing speed of 2242 Hz on the MOT17 dataset and an HOTA of 60.9\% with a processing speed of 304 Hz on the MOT20 dataset. The tracker's source code, fine-tuned object detection model, and tutorials are available at \url{https://github.com/gitmehrdad/SFSORT}.

研究动机与目标

• 开发一种适用于边缘和云平台的实时、计算高效的多目标跟踪系统。
• 在检测跟踪中完全消除卡尔曼滤波器，以减少计算开销并提升速度。
• 通过将场景特征整合到目标-轨迹关联中，提升跟踪的准确性和鲁棒性。
• 在 MOT17 和 MOT20 等标准 MOT 基准测试中，实现速度与准确性的 SOTA 表现。
• 通过仅依赖边界框和场景特征，避免存储原始帧，实现隐私保护型跟踪。

提出的方法

• 提出一种名为边界框相似度指数的新代价函数，用于替代传统基于 IoU 的度量方法进行目标关联。
• 通过依赖场景特征和边界框几何结构进行运动建模，完全移除卡尔曼滤波器。
• 利用从视频背景中提取的场景特征，提升目标-轨迹关联效果，减少 ID 切换。
• 采用基于匈牙利算法的检测跟踪框架，使用新代价函数实现最优分配。
• 应用后处理启发式方法，优化轨迹质量并减少碎片化。
• 在相同硬件条件下，使用遗传算法对超参数进行调优，以优化跟踪器性能。

实验结果

研究问题

• RQ1 多目标跟踪器是否能在不使用卡尔曼滤波器或深度外观特征的情况下实现 SOTA 速度？
• RQ2 在复杂或拥挤场景中，场景特征如何影响跟踪的准确性和稳定性？
• RQ3 新型边界框相似度度量是否能在准确性和计算效率两方面超越 IoU 及其变体？
• RQ4 在无 GPU 加速的情况下，跟踪器在标准和拥挤的 MOT 基准测试中，能在多大程度上实现 ≥30 Hz 的实时性能？
• RQ5 跟踪器是否能仅依赖边界框和场景级信息运行，避免对原始帧的依赖，同时保持高准确性？

主要发现

• SFSORT 在使用 2.2 GHz Intel Xeon CPU 的 MOT17 数据集上实现了 2242 Hz 的处理速度，是迄今为止报告的最快跟踪器。
• 在 MOT17 上，SFSORT 达到了 61.7% 的 HOTA 得分，在 MOTA 和 IDF1 等准确率指标上超越了所有其他实时跟踪器。
• 在更具挑战性的 MOT20 数据集上，SFSORT 实现了 304 Hz 的速度和 60.9% 的 HOTA，其速度和准确率均超越所有其他实时跟踪器。
• 场景特征显著提升了跟踪器的性能，改善了目标-轨迹关联并减少了 ID 切换。
• SFSORT 是唯一在 MOT17 和 MOT20 上均超过 30 Hz 的跟踪器，且在 MOT20 上的速度接近第二快跟踪器的十倍。
• 该跟踪器的源代码、微调后的 YOLOv8 检测器以及教程已公开发布于 https://github.com/gitmehrdad/SFSORT。