[论文解读] SPIN: A High Speed, High Resolution Vision Dataset for Tracking and Action Recognition in Ping Pong

Steven L. Schwarcz, Peng Xu+5 more|arXiv (Cornell University)|Dec 13, 2019

Human Pose and Action Recognition参考文献 43被引用 5

一句话总结

本论文提出SPIN，一个高速（150 fps）、高分辨率的乒乓球比赛立体视频数据集，包含密集标注的球体追踪、人体姿态和球体旋转信息。该研究提出一种新型门控循环神经网络架构，在在线推理任务中表现优异，表明多任务学习可提升旋转分类性能，并基于观测数据揭示了三种不同的旋转诱导轨迹簇，而非依赖物理模型。

ABSTRACT

We introduce a new high resolution, high frame rate stereo video dataset, which we call SPIN, for tracking and action recognition in the game of ping pong. The corpus consists of ping pong play with three main annotation streams that can be used to learn tracking and action recognition models -- tracking of the ping pong ball and poses of humans in the videos and the spin of the ball being hit by humans. The training corpus consists of 53 hours of data with labels derived from previous models in a semi-supervised method. The testing corpus contains 1 hour of data with the same information, except that crowd compute was used to obtain human annotations of the ball position, from which ball spin has been derived. Along with the dataset we introduce several baseline models that were trained on this data. The models were specifically chosen to be able to perform inference at the same rate as the images are generated -- specifically 150 fps. We explore the advantages of multi-task training on this data, and also show interesting properties of ping pong ball trajectories that are derived from our observational data, rather than from prior physics models. To our knowledge this is the first large scale dataset of ping pong; we offer it to the community as a rich dataset that can be used for a large variety of machine learning and vision tasks such as tracking, pose estimation, semi-supervised and unsupervised learning and generative modeling.

研究动机与目标

• 创建大规模、高保真的数据集，用于研究高速运动物体与体育运动中的人体动作，基于高速、高分辨率立体视频。
• 实现每秒150帧（fps）实时在线推理模型，与数据采集速率相匹配。
• 探索多任务学习，联合预测乒乓球轨迹、人体姿态和旋转类型。
• 从观测数据中揭示乒乓球运动的实证动力学规律，独立于物理模型假设。
• 提供用于快速运动体育中追踪、姿态估计和动作识别的基准数据集与基线模型。

提出的方法

• SPIN数据集包含53小时立体视频，帧率为150 fps（分辨率1024×1280），球体位置、人体姿态和旋转标注通过半监督方式从先前模型推导得出。
• 旋转标签基于真实球体轨迹计算得出，而非直接人工标注，从而实现精确的旋转分类。
• 基线模型包括一种新型门控循环架构（Conv-Gated-Sigmoid）、带卷积层的LSTM，以及单帧卷积模型。
• 模型采用多任务学习训练，球体追踪、姿态估计和旋转分类的损失函数通过权重因子3进行加权组合。
• 推理过程针对实时性能进行优化，使用Bayer图案输入以减少GPU加载时间，保持每对立体图像6.6 ms（约150 fps）的处理速度。
• 数据集划分为'SPIN-OR'（在线重建）和'SPIN-ALL'（完全人工标注）两部分，用于训练与评估。

实验结果

研究问题

• RQ1 高速、高分辨率立体数据集能否实现快速体育项目（如乒乓球）中准确的实时追踪与动作识别？
• RQ2 联合预测球体轨迹、人体姿态和旋转类型的多任务学习，如何提升模型性能？
• RQ3 当基于观测数据而非物理模型时，乒乓球运动的动力学中会浮现何种实证规律？
• RQ4 与非循环或标准LSTM架构相比，采用门控结构的循环建模是否在预测球体运动与旋转方面表现更优？
• RQ5 人体姿态信息在多大程度上提升旋转分类性能？旋转预测是否对姿态估计有帮助？

主要发现

• 所提出的门控循环架构在球体追踪任务中优于标准LSTM和单帧模型，尤其在更严格的精度阈值（2像素距离）下表现更优。
• 单帧模型在2像素精度下表现出乎意料地好，可能得益于更快的训练速度，但在5像素容差下被循环模型超越，表明其具有更好的误报抑制能力。
• 当姿态作为辅助任务时，多任务学习可提升旋转分类性能；但球体追踪对旋转预测无额外增益。
• 姿态估计在单独训练时表现最佳；与旋转或球体追踪联合训练会降低性能，表明存在任务干扰。
• 'SPIN-ALL'数据集划分显著提升了各项任务的性能，表明高质量人工标注数据可增强模型泛化能力。
• 观测数据揭示了球体轨迹中存在三种与不同旋转强度对应的显著聚类，该现象未被先前的物理模型所预测。