[论文解读] SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

Yutao Cui, Chenkai Zeng+4 more|arXiv (Cornell University)|Apr 11, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

本论文提出 SportsMOT，一个大规模多目标跟踪数据集，包含篮球、排球和足球共240段视频序列，涵盖超过150,000帧和160万个人工标注的边界框。为应对运动与外观关联中的挑战，作者提出 MixSort 跟踪框架，整合了类似 MixFormer 的外观模型与基于运动的跟踪方法，在 SportsMOT 上实现73.8的HOTA（最先进性能），并在MOT17和SoccerNet上展现出更强的泛化能力。

ABSTRACT

Multi-object tracking in sports scenes plays a critical role in gathering players statistics, supporting further analysis, such as automatic tactical analysis. Yet existing MOT benchmarks cast little attention on the domain, limiting its development. In this work, we present a new large-scale multi-object tracking dataset in diverse sports scenes, coined as \emph{SportsMOT}, where all players on the court are supposed to be tracked. It consists of 240 video sequences, over 150K frames (almost 15 imes MOT17) and over 1.6M bounding boxes (3 imes MOT17) collected from 3 sports categories, including basketball, volleyball and football. Our dataset is characterized with two key properties: 1) fast and variable-speed motion and 2) similar yet distinguishable appearance. We expect SportsMOT to encourage the MOT trackers to promote in both motion-based association and appearance-based association. We benchmark several state-of-the-art trackers and reveal the key challenge of SportsMOT lies in object association. To alleviate the issue, we further propose a new multi-object tracking framework, termed as \emph{MixSort}, introducing a MixFormer-like structure as an auxiliary association model to prevailing tracking-by-detection trackers. By integrating the customized appearance-based association with the original motion-based association, MixSort achieves state-of-the-art performance on SportsMOT and MOT17. Based on MixSort, we give an in-depth analysis and provide some profound insights into SportsMOT. The dataset and code will be available at https://deeperaction.github.io/datasets/sportsmot.html.

研究动机与目标

• 填补在动态、高速环境中专用于球员跟踪的大规模、体育场景专用多目标跟踪基准的空白。
• 识别体育场景多目标跟踪中的关键挑战，尤其在快速且变速的球员运动下，基于运动和外观的关联困难，以及视觉上相似的球衣。
• 开发一种新型跟踪框架 MixSort，通过增强运动与外观建模，提升复杂体育场景下的关联准确性。
• 提供一个全面的基准，用于评估并推进专用于体育应用的多目标跟踪模型。
• 实现对跟踪器在不同体育类别间泛化能力的深入分析，并与现有数据集如 MOT17、DanceTrack 和 SoccerNet 进行对比。

提出的方法

• 从篮球、排球和足球中收集并标注240段高质量视频序列，覆盖超过150,000帧和160万个人工标注的边界框，所有场上的球员均被追踪。
• 设计一种新型多目标跟踪框架 MixSort，将类似 MixFormer 的结构作为辅助关联模块，以增强外观驱动的跟踪能力。
• 通过可学习的融合机制，结合基于运动的关联（使用卡尔曼滤波和IoU）与基于外观的关联（通过 MixFormer 模块实现）。
• 在 SportsMOT 上微调 ReID 模型，以提升对具有不同号码和姿态但外观相似的球员的判别性特征学习能力。
• 在 SportsMOT 上训练并评估多个最先进跟踪器（如 ByteTrack、DeepSORT），采用45/45/150段视频序列的训练/验证/测试划分。
• 采用加权融合策略（超参数 α）结合 IoU 与 MixSort 基于的关联分数，以验证集上的 HOTA 为优化目标。

Figure 1 : Sampled sequences from the categories of basketball and football of SportsMOT, MOT17 and DanceTrack. There exist two key properties of SportsMOT: 1) fast and variable-speed motion , i.e . players usually possess high speed and frequently change their running speed (the visualized adjacent

实验结果

研究问题

• RQ1 在具有高速和变速运动球员的大规模体育专用多目标跟踪基准上，现有最先进多目标跟踪器的表现如何？
• RQ2 当前跟踪器在体育场景中应用时的主要失败模式是什么，特别是在运动建模和外观区分方面？
• RQ3 类似 MixFormer 的架构在体育多目标跟踪中，能否显著提升基于外观的关联性能，尤其是在外观相似但可区分的挑战下？
• RQ4 SportsMOT 与现有基准（如 MOT17、DanceTrack 和 SoccerNet）相比，在跟踪难度和模型泛化能力方面有何差异？
• RQ5 在复杂体育环境中，混合运动-外观关联框架是否能超越仅依赖运动或外观的主流跟踪器？

主要发现

• SportsMOT 比 MOT17 难度显著更高，尽管检测准确率较高（79.1 DetA），但 IDF1 和 AssA 分数更低（篮球场景下分别为67.8和46.8），表明关联是主要瓶颈。
• MixSort 框架在 SportsMOT 上实现最先进 HOTA 73.8，优于基于 IoU 的标准关联方法（71.5 HOTA），验证了基于 MixFormer 的外观模型的有效性。
• 在篮球子集上，MixSort 实现60.8 HOTA，为各体育类别中最低，凸显了高速、高动态球员运动与遮挡带来的挑战。
• MixSort 在 SportsMOT 上优于标准 ByteTrack 及使用 ReID 的 ByteTrack，HOTA 提升0.9，IDF1 提升1.9，AssA 提升1.4，证明了所提外观建模方法的优越性。
• 在 DanceTrack 上，MixSort 表现不如标准 ByteTrack，表明 SportsMOT 的外观线索更具判别性，而 DanceTrack 的服装难以区分，从而验证了 SportsMOT 在运动与外观双重挑战下的合理性。
• SoccerNet 仅聚焦足球，其检测准确率（71.5）和 HOTA（62.9）均低于 SportsMOT（78.8 DetA，65.7 HOTA），表明 SportsMOT 更广泛的覆盖范围和更高质量的标注，有助于提升跟踪器性能并实现更稳健的评估。

Figure 2 : IoU on adjacent frames. (a) Compared to MOT17 and DanceTrack, SportsMOT has a lower score, indicating that objects have faster motion. (b) In SportsMOT, the category of football has the lowest IoU score, which means that football players often have fast motion.