[论文解读] SportsTrack: An Innovative Method for Tracking Athletes in Sports Scenes

Jie Wang, Yuzhou Peng+3 more|arXiv (Cornell University)|Nov 14, 2022

Medical Imaging and Analysis被引用 8

一句话总结

SportsTrack 提出了一种用于体育视频多目标跟踪的新型三阶段匹配追踪器，通过一对一多检测对应关系和丢失边缘轨迹恢复，解决了运动模糊、身体重叠和低置信度检测的问题。该方法在使用 YOLOX 检测模型和 Fast-ReID ReID 模型时，在 SportsMOT 测试集上实现了 76.264 的 HOTA 的最先进性能。

ABSTRACT

The SportsMOT dataset aims to solve multiple object tracking of athletes in different sports scenes such as basketball or soccer. The dataset is challenging because of the unstable camera view, athletes' complex trajectory, and complicated background. Previous MOT methods can not match enough high-quality tracks of athletes. To pursue higher performance of MOT in sports scenes, we introduce an innovative tracker named SportsTrack, we utilize tracking by detection as our detection paradigm. Then we will introduce a three-stage matching process to solve the motion blur and body overlapping in sports scenes. Meanwhile, we present another innovation point: one-to-many correspondence between detection bboxes and crowded tracks to handle the overlap of athletes' bodies during sports competitions. Compared to other trackers such as BOT-SORT and ByteTrack, We carefully restored edge-lost tracks that were ignored by other trackers. Finally, we reached the SOTA result in the SportsMOT dataset.

研究动机与目标

• 解决在动态体育场景中因运动模糊、身体重叠和不稳定摄像头视角导致的运动员追踪挑战。
• 通过恢复丢失边缘的轨迹并有效处理低置信度检测，提升体育 MOT 的追踪性能。
• 克服现有追踪器（如 ByteTrack 和 BOT-SORT）的局限性，这些追踪器由于基于置信度的优先策略，无法匹配低置信度但高质量的检测结果。
• 引入检测边界框与密集轨迹之间的一对多对应关系，以在身体重叠期间保持轨迹连续性。
• 在 SportsMOT 基准上实现最先进性能，尤其在处理复杂、高密度的体育场景方面表现出色。

提出的方法

• 使用输入尺寸为 $1440 \times 800$ 的 YOLOX 模型，以在体育场景中实现高质量的运动员检测。
• 采用输入尺寸为 $128 \times 384$ 的 Fast-ReID 模型，用于 ReID 匹配中的外观嵌入。
• 实施三阶段匹配策略：(1) 使用更严格阈值的严格 ReID 和 IOU 匹配，(2) 使用 ReID 和 IOU 匹配高置信度边界框，(3) 仅使用 IOU 匹配低置信度边界框。
• 引入“密集轨迹”机制，实现检测边界框与轨迹之间的一对多对应关系，以在身体重叠期间保持轨迹连续性。
• 通过在高置信度匹配后重新评估未匹配的低置信度检测，实现丢失边缘轨迹的恢复，避免过早删除轨迹。
• 使用后处理 ReID 模型（osnet_ain_1x0），并在 SportsMOT 和 DukeMTMCReID 上进行数据增强和微调，以提升 ReID 的泛化能力。

实验结果

研究问题

• RQ1 当运动员在画面中频繁高速移动并发生重叠时，如何提升体育场景中的多目标跟踪性能？
• RQ2 在不降低追踪性能的前提下，低置信度检测（通常由运动模糊引起）能在多大程度上被有效利用？
• RQ3 在密集体育场景中，检测到轨迹之间的一对多对应关系是否能改善身体重叠期间的追踪连续性？
• RQ4 与 ByteTrack 等基于置信度优先的追踪器相比，三阶段匹配策略为何表现更优？
• RQ5 在体育视频序列中，丢失边缘轨迹恢复对整体 MOT 性能有何影响？

主要发现

• SportsTrack 在 SportsMOT 测试集上实现了 76.264 的最先进 HOTA 得分，显著优于现有追踪器。
• 在 SportsMOT 验证集上，SportsTrack 达到 80.863 的 HOTA，展现出强大的泛化能力和鲁棒性。
• 三阶段匹配策略能有效恢复丢失边缘的轨迹，显著提升在运动模糊和重叠场景下的追踪连续性。
• 检测边界框与密集轨迹之间的一对多对应关系减少了身体重叠期间的轨迹碎片化，提升了轨迹质量。
• 分阶段使用 ReID 和 IOU 的匹配过程，同时提升了检测对齐和轨迹关联的准确性。
• 后处理 ReID 模型显著提升了 ReID 性能，有助于实现更长期的轨迹稳定性和更高的 ID 一致性。