[论文解读] Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion

Adrià Arbués-Sangüesa, Coloma Ballester+1 more|Zenodo (CERN European Organization for Nuclear Research)|Jun 2, 2019

Video Analysis and Summarization参考文献 22被引用 7

一句话总结

本论文提出了一种单摄像头篮球追踪方法，通过融合来自VGG-19网络的姿态特征与深度学习特征，在无需摄像头稳定化或上下文特征的情况下实现了高精度追踪。通过结合基于关键点的姿态估计与第10卷积层的激活图，该方法取得了0.6843的MOTA分数，优于传统特征，并表明仅使用深度特征即可在复杂且存在遮挡的场景中实现鲁棒追踪。

ABSTRACT

Tracking sports players is a widely challenging scenario, specially in single-feed videos recorded in tight courts, where cluttering and occlusions cannot be avoided. This paper presents an analysis of several geometric and semantic visual features to detect and track basketball players. An ablation study is carried out and then used to remark that a robust tracker can be built with Deep Learning features, without the need of extracting contextual ones, such as proximity or color similarity, nor applying camera stabilization techniques. The presented tracker consists of: (1) a detection step, which uses a pretrained deep learning model to estimate the players pose, followed by (2) a tracking step, which leverages pose and semantic information from the output of a convolutional layer in a VGG network. Its performance is analyzed in terms of MOTA over a basketball dataset with more than 10k instances.

研究动机与目标

• 开发一种在遮挡和球员分辨率较低等挑战性条件下，针对篮球视频的鲁棒单摄像头多目标追踪器。
• 评估几何特征、视觉特征与基于深度学习的特征在球员追踪中的有效性。
• 确定是否需要上下文特征（如颜色相似性、邻近度）或摄像头稳定化以实现高性能追踪。
• 研究身体部位分辨率与特征融合对追踪精度的影响。
• 证明在该领域中，仅使用深度学习特征即可超越传统计算机视觉技术。

提出的方法

• 采用两阶段检测追踪流程：首先使用预训练的姿态估计模型检测球员及其姿态。
• 从VGG-19网络的第10卷积层提取深度学习特征，并对身体部位应用空间池化。
• 基于姿态的特征提取聚焦于关键解剖区域（如肩膀、髋部、膝盖），并在每个部位周围采用2×2邻域以提升鲁棒性。
• 同时评估几何特征（像素坐标中的相对距离）与视觉特征（局部区域内的RGB相似性）以作对比。
• 使用定制的匈牙利算法解决连续三帧之间的数据关联问题。
• 通过单应性估计测试了摄像头稳定化，但发现当使用深度特征时，该步骤并非必要。

实验结果

研究问题

• RQ1 在单摄像头篮球视频中，仅使用深度学习特征是否能优于传统几何与视觉特征实现更优的追踪性能？
• RQ2 摄像头稳定化是否能提升追踪性能？当使用深度特征时，该步骤是否为必要？
• RQ3 VGG-19网络中的哪一层卷积层能提供最佳的深度特征表示用于篮球球员追踪？
• RQ4 身体部位的分辨率与可区分性如何影响追踪性能？
• RQ5 融合几何与深度学习特征是否能带来性能提升，还是单一特征已足够？

主要发现

• VGG-19的第10卷积层提供了最佳的深度学习特征，实现了最高MOTA 0.6843。
• 在下采样后的身体部位周围应用2×2空间池化可提升追踪性能，尤其在中等分辨率特征下效果显著。
• 当与几何特征结合时，深度学习特征优于视觉特征，且与几何特征结合并未显著提升性能，其表现已接近仅使用深度特征的水平。
• 分辨率较低的身体部位（如眼睛、耳朵、脚趾）对追踪产生负面影响，MOTA值低于0.10。
• 摄像头稳定化可提升几何特征的性能，但当使用深度特征时，其并非必要，因为深度特征对运动具有鲁棒性。
• 消融实验确认，当使用深度特征时，颜色相似性或邻近度等上下文特征并非实现高性能所必需。