[论文解读] Soccer Field Localization from a Single Image

Namdar Homayounfar, Sanja Fidler+1 more|arXiv (Cornell University)|Apr 10, 2016

Video Analysis and Summarization参考文献 18被引用 4

一句话总结

该论文提出了一种完全自动化的单幅转播图像足球场定位方法，采用马尔可夫随机场（MRF）中的分支定界推理。该方法通过两个检测到的消失点定义四条射线来建模球场，并结合草地方案、线条和圆形势能以及结构SVM学习，其在2014年世界杯数据集上实现了0.90的平均IOU，展示了在不同光照和场地条件下的鲁棒性。

ABSTRACT

In this work, we propose a novel way of efficiently localizing a soccer field from a single broadcast image of the game. Related work in this area relies on manually annotating a few key frames and extending the localization to similar images, or installing fixed specialized cameras in the stadium from which the layout of the field can be obtained. In contrast, we formulate this problem as a branch and bound inference in a Markov random field where an energy function is defined in terms of field cues such as grass, lines and circles. Moreover, our approach is fully automatic and depends only on single images from the broadcast video of the game. We demonstrate the effectiveness of our method by applying it to various games and obtain promising results. Finally, we posit that our approach can be applied easily to other sports such as hockey and basketball.

研究动机与目标

• 实现无需人工初始化或专用摄像机设置的完全自动单图像足球场定位。
• 解决在露天体育场中因光照和草地方案纹理变化导致的球场定位挑战。
• 开发一种可推广至其他具有已知场地几何结构和标记的运动项目的方法。
• 仅使用图像线索，超越基于关键帧的基线方法和人工初始化方法。
• 通过实现广播视频中3D场景理解，为体育分析提供可扩展、高效的解决方案。

提出的方法

• 将球场定位建模为马尔可夫随机场（MRF）中的分支定界推理，其能量函数结合了多种视觉线索。
• 通过两个自动检测到的水平消失点推导出四条射线，定义外场边界。
• 利用语义分割识别草地区域，并将这些结果作为MRF中的单变量势能。
• 引入线条和圆形势能，以在检测到的图像线条与已知的3D球场模型之间保持几何一致性。
• 使用结构SVM从标注图像的训练集中学习MRF势能的最优权重。
• 通过分支定界进行推理，在单核CPU上实现每帧平均0.7秒的推理时间。

实验结果

研究问题

• RQ1 是否能够实现完全自动化的单张转播图像足球场定位，而无需人工初始化或固定相机标定？
• RQ2 在光照和纹理条件变化下，结合草地、线条和圆形线索的视觉线索在提升定位精度方面有多有效？
• RQ3 所提出的基于MRF的推理框架是否能优于依赖最近邻单应性传递的基于关键帧的基线方法？
• RQ4 与纯外观方法相比，使用消失点和几何约束在多大程度上提升了鲁棒性？
• RQ5 该方法是否可推广至其他具有已知场地尺寸和基本标记（如线条和圆形）的运动项目？

主要发现

• 所提方法在259张2014年世界杯图像的测试集上实现了0.90的平均交并比（IOU）和0.94的中位数IOU，表现出高精度的定位能力。
• 与仅使用草地势能（IOU仅为0.57）相比，加入线条和圆形势能可使IOU提高约30%。
• 表现最佳的配置为草地势能使用四个独立权重，垂直线条、水平线条和圆形各使用一个共享权重，从而实现最高IOU。
• 与两个基线方法（基于草地分割的最近邻方法和基于线条距离变换的方法）相比，该方法在平均IOU上高出34%，表明其在关键帧传递方法上的优越性。
• 平均推理时间为每帧0.7秒，平均进行2,964次分支定界迭代，适用于实时视频处理。
• 失败案例主要源于圆形势能检测错误，表明在可见度差或遮挡情况下，圆形标记定位存在脆弱性。