[论文解读] Player Tracking and Identification in Ice Hockey

Kanav Vats, Pascale Walters+3 more|arXiv (Cornell University)|Oct 6, 2021

Video Analysis and Summarization被引用 4

一句话总结

本文提出了一种用于在NHL转播视频中自动追踪和识别球员的系统，采用三阶段流水线：多目标追踪、球队分类和通过时间1D CNN进行球员识别。该系统通过利用轨迹片段、球队标签和NHL球员名单数据，实现了82.8%的球员识别准确率，MOTA为94.5%，IDF1为62.9%。

ABSTRACT

Tracking and identifying players is a fundamental step in computer vision-based ice hockey analytics. The data generated by tracking is used in many other downstream tasks, such as game event detection and game strategy analysis. Player tracking and identification is a challenging problem since the motion of players in hockey is fast-paced and non-linear when compared to pedestrians. There is also significant camera panning and zooming in hockey broadcast video. Identifying players in ice hockey is challenging since the players of the same team look almost identical, with the jersey number the only discriminating factor between players. In this paper, an automated system to track and identify players in broadcast NHL hockey videos is introduced. The system is composed of three components (1) Player tracking, (2) Team identification and (3) Player identification. Due to the absence of publicly available datasets, the datasets used to train the three components are annotated manually. Player tracking is performed with the help of a state of the art tracking algorithm obtaining a Multi-Object Tracking Accuracy (MOTA) score of 94.5%. For team identification, the away-team jerseys are grouped into a single class and home-team jerseys are grouped in classes according to their jersey color. A convolutional neural network is then trained on the team identification dataset. The team identification network gets an accuracy of 97% on the test set. A novel player identification model is introduced that utilizes a temporal one-dimensional convolutional network to identify players from player bounding box sequences. The player identification model further takes advantage of the available NHL game roster data to obtain a player identification accuracy of 83%.

研究动机与目标

• 开发一个端到端的自动化系统，用于在冰球转播视频中进行球员追踪与识别，其中球员在视觉上几乎完全相同，仅通过球衣号码区分。
• 解决由于高速、非线性运动和动态摄像机运动导致的追踪与重识别困难问题。
• 由于缺乏公开可用的基准，创建并标注新的数据集，用于球员追踪、球队识别和球员识别。
• 通过整合球员名单数据和来自球员轨迹片段的时间上下文，提高球员识别的准确率。
• 通过后处理和概率窗口的多数投票，减少身份切换和误分类错误。

提出的方法

• 使用最先进的追踪算法进行球员追踪，在自定义数据集上实现了94.5%的MOTA。
• 球队识别采用卷积神经网络（CNN），将球员分类为客队或主队，主队按球衣颜色聚类，客队统一归为一类。
• 提出一种新型的时间1D CNN模型，处理球员边界框序列（轨迹片段），利用帧间的时间上下文识别球衣号码。
• 通过计算球员特定向量（v_a 和 v_p）将轨迹片段特征与比赛球员名单数据融合，以优化预测结果。
• 推理流水线首先应用可见性过滤器，检测球衣号码可能可见的帧，随后通过加权平均聚合概率，并进行后处理以抑制误报。
• 后处理中采用多数投票和空类处理以提高鲁棒性，最终预测基于聚合概率得出。

实验结果

研究问题

• RQ1 在视觉区分度极低、摄像机运动频繁的快节奏冰球转播视频中，如何有效实现球员追踪与识别？
• RQ2 将轨迹片段中的时间上下文与外部游戏数据（如球员名单）相结合的最优方法是什么，以提升识别准确率？
• RQ3 可见性过滤和概率聚合如何影响真实转播视频中球员识别的鲁棒性与准确率？
• RQ4 通过后处理和轨迹片段窗口的多数投票，能在多大程度上缓解球队识别错误？
• RQ5 在整体追踪流水线中，整合比赛球员名单数据能多大程度上提升整体球员识别性能？

主要发现

• 球员追踪组件在自定义数据集上实现了94.5%的多目标追踪准确率（MOTA），表现优异。
• 球队识别模型在测试集上达到96.6%的准确率，无需在新比赛上进行微调。
• 所提出的基于1D CNN的球员识别模型在应用可见性过滤和后处理后，准确率达到83.17%，较之前工作提升9.9%。
• 整合比赛球员名单数据后，系统在13段测试视频上的平均准确率从77.9%提升至82.8%。
• 在视频11中，由于引入球员名单向量，准确率提升了24.44%，凸显了上下文数据在低可见性场景下的显著影响。
• 消融实验证实，可见性过滤和后处理至关重要，即使采用最优聚合策略，若移除这些模块，准确率仍会下降超过2.37%。