[论文解读] Sports Re-ID: Improving Re-Identification Of Players In Broadcast Videos Of Team Sports

Bharath Comandur|arXiv (Cornell University)|Jun 6, 2022

Video Analysis and Summarization被引用 4

一句话总结

本文提出一种分层数据采样策略和一种简单的欧几里得中心损失，以提升在团队运动广播视频中球员重识别的性能，此类场景中球员穿着相似的队服，训练样本极少，且图像分辨率较低。该方法在CNN和视觉Transformer模型上均将mAP提升7–11.5，R1提升8.8–14.9，在SoccerNet重识别挑战赛2022年排行榜上达到最先进性能，测试集上mAP为86.0，R1为81.5。

ABSTRACT

This work focuses on player re-identification in broadcast videos of team sports. Specifically, we focus on identifying the same player in images captured from different camera viewpoints during any given moment of a match. This task differs from traditional applications of person re-id in a few important ways. Firstly, players from the same team wear highly similar clothes, thereby making it harder to tell them apart. Secondly, there are only a few number of samples for each identity, which makes it harder to train a re-id system. Thirdly, the resolutions of the images are often quite low and vary a lot. This combined with heavy occlusions and fast movements of players greatly increase the challenges for re-id. In this paper, we propose a simple but effective hierarchical data sampling procedure and a centroid loss function that, when used together, increase the mean average precision (mAP) by 7 - 11.5 and the rank-1 (R1) by 8.8 - 14.9 without any change in the network or hyper-parameters used. Our data sampling procedure improves the similarity of the training and test distributions, and thereby aids in creating better estimates of the centroids of the embeddings (or feature vectors). Surprisingly, our study shows that in the presence of severely limited data, as is the case for our application, a simple centroid loss function based on euclidean distances significantly outperforms the popular triplet-centroid loss function. We show comparable improvements for both convolutional networks and vision transformers. Our approach is among the top ranked methods in the SoccerNet Re-Identification Challenge 2022 leaderboard (test-split) with a mAP of 86.0 and a R1 of 81.5. On the sequestered challenge split, we achieve an mAP of 84.9 and a R1 of 80.1. Research on re-id for sports-related applications is very limited and our work presents one of the first discussions in the literature on this.

研究动机与目标

• 为解决团队运动广播视频中球员重识别所面临的独特挑战，即球员穿着高度相似的队服，且训练数据极为有限。
• 探究为何为监控场景设计的传统重识别方法在此领域失效，原因在于训练与测试数据分布存在显著差异。
• 开发一种数据采样策略，以减少在低样本、高相似性场景下训练与测试数据分布之间的域差距。
• 评估在低数据环境下，简单欧几里得中心损失相较于更复杂的三元组-中心损失函数的有效性。
• 证明所提方法在卷积神经网络与视觉Transformer模型上均具有泛化能力，适用于体育重识别任务。

提出的方法

• 提出一种分层数据采样流程，按身份和摄像头视角对训练样本进行分组，确保训练过程中批次的平衡性与代表性。
• 采用基于L2（欧几里得）距离的中心损失函数，计算特征嵌入与其类别特定中心点之间的距离，无需使用三元组挖掘。
• 将分层采样与欧几里得中心损失结合，以提升嵌入聚类效果与低数据条件下的泛化能力。
• 在所有实验中使用相同的主干网络（如OSNet、ViT-B/16）与超参数，以隔离所提组件的影响。
• 将方法应用于卷积网络与视觉Transformer模型，验证其在不同架构上的一致性能增益。
• 在SoccerNet重识别挑战赛2022数据集上验证方法，使用公开测试集与隔离测试集。

实验结果

研究问题

• RQ1 分层采样是否能有效减小低样本、高相似性体育重识别场景中训练与测试数据分布之间的差距？
• RQ2 当每个身份的训练数据严重受限时，简单的欧几里得中心损失是否优于更复杂的三元组-中心损失函数？
• RQ3 所提方法是否能在团队运动视频中同时提升卷积神经网络与视觉Transformer的重识别性能？
• RQ4 为何在未使用中心损失的情况下，卷积神经网络与视觉Transformer在使用分层采样时表现出不同的性能趋势？
• RQ5 该方法在泛化能力上能超越足球场景，适用于其他具有类似视觉挑战的团队运动吗？

主要发现

• 所提的分层采样与欧几里得中心损失组合在不修改网络结构或超参数的情况下，将mAP提升7–11.5，R1提升8.8–14.9。
• 在SoccerNet重识别挑战赛2022公开测试集上，达到最先进mAP 86.0与R1 81.5。
• 在隔离挑战测试集上，mAP为84.9，R1为80.1，证实了其强大的泛化能力。
• 在低数据环境下，简单欧几里得中心损失优于三元组-中心损失，与以往SOTA方法的预期相反。
• 仅使用分层采样即可使视觉Transformer的mAP提升5.7–7.3，R1提升6.9–9.4，但对部分卷积神经网络造成轻微性能下降。
• 该方法在ResNet50-fc512与OSNet_x1_0，以及DeiT与ViT架构上均表现出一致的性能增益，表明其具有广泛的适用性。