[论文解读] SoccerNet 2023 Tracking Challenge -- 3rd place MOT4MOT Team Technical Report

Gal Shitrit, Ishay Be’ery+1 more|arXiv (Cornell University)|Aug 31, 2023

Video Analysis and SummarizationComputer Science被引用 3

一句话总结

本论文介绍了MOT4MOT团队在SoccerNet 2023追踪挑战赛中的方法，以66.27的HOTA得分获得第三名。该方法将球员与足球追踪分离处理：球员追踪采用微调后的YOLOv8检测器结合DeepOC-SORT++追踪器，通过后处理插值（GSI）、无外观特征的轨迹合并（AFLink）以及基于外观的轨迹合并进行增强；足球追踪则使用低置信度阈值的YOLOv8l检测器，结合时间平滑与滤波，并通过线性插值确保轨迹连续性。

ABSTRACT

The SoccerNet 2023 tracking challenge requires the detection and tracking of soccer players and the ball. In this work, we present our approach to tackle these tasks separately. We employ a state-of-the-art online multi-object tracker and a contemporary object detector for player tracking. To overcome the limitations of our online approach, we incorporate a post-processing stage using interpolation and appearance-free track merging. Additionally, an appearance-based track merging technique is used to handle the termination and creation of tracks far from the image boundaries. Ball tracking is formulated as single object detection, and a fine-tuned YOLOv8l detector with proprietary filtering improves the detection precision. Our method achieves 3rd place on the SoccerNet 2023 tracking challenge with a HOTA score of 66.27.

研究动机与目标

• 解决在高速、动态的足球视频序列中实现高精度多目标追踪的挑战。
• 提升球员与足球追踪的鲁棒性，尤其在遮挡、小目标尺寸及外观变化情况下。
• 通过领域特定的微调与后处理技术，优化检测与追踪性能。
• 通过混合在线-离线方法，在SoccerNet 2023追踪挑战赛中实现最先进性能。

提出的方法

• 球员追踪采用两阶段方法：首先使用微调后的YOLOv8l检测器检测球员，随后通过DeepOC-SORT++进行追踪。
• 后处理包括高斯过程插值（GSI），用于恢复缺失检测；以及AFLink，用于在无外观线索下合并轨迹。
• 基于外观的轨迹合并用于在新轨迹出现且与已终止轨迹外观高度相似时，重新连接远离图像边界的轨迹。
• 足球追踪作为单目标检测处理，采用微调后的YOLOv8l检测器，并设置低置信度阈值（0.05）以最大化召回率。
• 时间滤波包括对每帧中最可靠足球检测结果进行三阶多项式平滑，随后选择位于平滑轨迹100像素范围内的检测结果。
• 通过线性插值恢复缺失的足球检测，以确保追踪框序列的连续性。

实验结果

研究问题

• RQ1 在高速运动、遮挡频繁且目标尺寸较小的足球视频中，如何提升在线多目标追踪性能？
• RQ2 当未来帧不可用时，后处理插值与轨迹合并对提升追踪器鲁棒性起到何种作用？
• RQ3 对检测器与外观模型进行领域特定微调，在SoccerNet数据上能在多大程度上提升追踪性能？
• RQ4 将足球与球员追踪分离处理，相较于联合追踪方法，如何提升整体HOTA得分？

主要发现

• 最终追踪器在SoccerNet 2023测试集上取得66.27的HOTA得分，位列挑战赛第三名。
• 在SoccerNet数据上对球员检测器进行微调后，其AP@0.5从COCO数据集上的0.954提升至0.990，表明具有出色的领域适应能力。
• 消融实验表明，微调检测器对HOTA提升贡献最大，与其他组件结合后带来5.9分的提升。
• 与仅使用AFLink和GSI的后处理相比，基于外观的轨迹合并使HOTA提升了0.38%。
• 使用真实标注（GT）框代替检测结果，使DeepOC-SORT++的HOTA从66.00提升至87.85，表明检测器质量是主要瓶颈。
• 采用裁剪增强的外观模型在Rank-1准确率上达到0.95，mAP为0.80，尽管身份数有限（199个）且队友间外观高度相似，仍表现出强劲性能。