[论文解读] Towards Structured Analysis of Broadcast Badminton Videos

Anurag Ghosh, Suriya Singh+1 more|arXiv (Cornell University)|Dec 23, 2017

Video Analysis and Summarization参考文献 31被引用 6

一句话总结

本文提出了一种端到端框架，利用现成的深度学习模型对广播羽毛球视频进行自动、结构化的分析，无需特殊摄像头或传感器。在10场奥运会比赛上，该方法实现了95.44%的回合分割准确率、97.98%的球员识别准确率以及80.48%的击球分割编辑得分，从而能够计算出反应时间、速度和主导性等可操作指标，用于球员和比赛分析。

ABSTRACT

Sports video data is recorded for nearly every major tournament but remains archived and inaccessible to large scale data mining and analytics. It can only be viewed sequentially or manually tagged with higher-level labels which is time consuming and prone to errors. In this work, we propose an end-to-end framework for automatic attributes tagging and analysis of sport videos. We use commonly available broadcast videos of matches and, unlike previous approaches, does not rely on special camera setups or additional sensors. Our focus is on Badminton as the sport of interest. We propose a method to analyze a large corpus of badminton broadcast videos by segmenting the points played, tracking and recognizing the players in each point and annotating their respective badminton strokes. We evaluate the performance on 10 Olympic matches with 20 players and achieved 95.44% point segmentation accuracy, 97.38% player detection score (mAP@0.5), 97.98% player identification accuracy, and stroke segmentation edit scores of 80.48%. We further show that the automatically annotated videos alone could enable the gameplay analysis and inference by computing understandable metrics such as player's reaction time, speed, and footwork around the court, etc.

研究动机与目标

• 实现无需特殊设备或传感器的大规模、自动羽毛球广播视频非结构化分析。
• 解决在多视角、叠加信息丰富的快速、遮挡严重且复杂的球拍类运动视频中进行分析的挑战。
• 开发一种框架，实现对球员、回合和击球的细粒度、帧级标注，以支持下游分析。
• 从标注数据中计算可解释的性能指标（如反应时间、速度、脚步移动和主导性），用于球员和比赛评估。
• 创建一个公开可用的标注羽毛球视频数据集，包含回合级别的结果和击球级别的轨迹信息。

提出的方法

• 该框架使用现成的目标检测模型，在广播视频的各帧中检测并跟踪球员。
• 结合运动线索和事件边界，利用羽毛球的回合制结构，对比赛回合进行时间分割。
• 通过空间-时间动作识别模块分析球员特定的三维体素，以分类和分割单个羽毛球击球。
• 利用外观特征和轨迹一致性，结合重识别技术，实现跨帧的球员身份保持。
• 通过检测球场地线计算单应性变换，将摄像头坐标转换为俯视图，以实现对速度和位移的精确估计。
• 通过测量对手击球与后续球员反应之间的时间间隔，近似估算反应时间。

实验结果

研究问题

• RQ1 我们能否仅使用标准广播画面和现成的深度学习模型，实现羽毛球广播视频的高精度端到端自动标注？
• RQ2 在非结构化、多视角且经过大量剪辑的广播视频中，我们对比赛回合的分割、球员跟踪和击球识别效果如何？
• RQ3 能否从标注数据中自动推导出可解释的、基于性能的指标（如反应时间、速度、主导性）用于球员和比赛分析？
• RQ4 该框架在无需专用硬件或数据采集的情况下，对不同球员和比赛条件的泛化能力如何？
• RQ5 在真实广播环境中，此类系统的关键失败模式和局限性是什么？

主要发现

• 该框架在10场奥运会羽毛球比赛中实现了95.44%的回合分割准确率。
• 球员检测的平均精度均值（mAP@0.5）达到97.38%，表明球员识别具有高度可靠性。
• 球员识别准确率达到97.98%，证明在长序列中实现了稳健的跟踪与重识别。
• 击球分割的编辑得分为80.48%，表明击球事件的时间对齐性能出色。
• 系统成功从标注数据中计算出有意义的指标，如平均反应时间、球员速度和主导性模式。
• 分析显示，较长的回合（击球次数较多）更常出现在非主导性比赛阶段，表明回合长度与比赛动态之间存在关联。