[论文解读] Spatiotemporal Motion Synchronization for Snowboard Big Air

Seiji Matsumura, Dan Mikami+2 more|arXiv (Cornell University)|Dec 20, 2021

Winter Sports Injuries and Performance被引用 5

一句话总结

本文提出了一种用于单板滑雪大跳台训练的时空运动同步方法，通过基于单应性的空间对齐和时间偏移检测，将来自不同摄像机角度的多个跳跃视频进行对齐。专家单板滑雪运动员表示，该方法显著提升了对身体动作细微差异的检测能力，从而实现了更有效的表现对比与技能提升训练。

ABSTRACT

During the training for snowboard big air, one of the most popular winter sports, athletes and coaches extensively shoot and check their jump attempts using a single camera or smartphone. However, by watching videos sequentially, it is difficult to compare the precise difference in performance between two trials. Therefore, side-by-side display or overlay of two videos may be helpful for training. To accomplish this, the spatial and temporal alignment of multiple performances must be ensured. In this study, we propose a conventional but plausible solution using the existing image processing techniques for snowboard big air training. We conducted interviews with expert snowboarders who stated that the spatiotemporally aligned videos enabled them to precisely identify slight differences in body movements. The results suggest that the proposed method can be used during the training of snowboard big air.

研究动机与目标

• 解决在训练期间从不同摄像机角度录制的单板滑雪大跳台跳跃表现对比的挑战。
• 使运动员和教练能够检测出在顺序视频回放中难以察觉的跳跃试验之间身体动作的细微差异。
• 开发一种实用的、基于图像处理的解决方案，利用现有技术实现时空对齐，无需专用硬件或实时反馈。
• 通过专家访谈评估该方法在真实训练场景中的有效性。

提出的方法

• 使用单应性变换对从不同摄像机位置拍摄的两段视频进行空间视角对齐，确保视觉视角一致。
• 在视频帧中手动识别角点以计算单应性矩阵，实现空间对齐。
• 通过分析运动特征并确定两段跳跃序列之间的时间偏移，识别同步的基准帧。
• 通过相对移动一段视频，使对应的动作阶段（例如起跳、空中旋转）同时发生，实现时间对齐。
• 生成并排或叠加的视频输出，以实现对两段跳跃表现的直接视觉对比。
• 在姿态估计因滑雪服或运动模糊而不可靠时，使用运动历史图像作为粗略运动特征进行同步。

实验结果

研究问题

• RQ1 能否通过不同摄像机角度的单板滑雪大跳台视频的时空同步，提升对运动员表现细微差异的检测能力？
• RQ2 该方法在帮助运动员识别身体动作差异（如动作启动时间或旋转角度）方面的有效性如何？
• RQ3 与顺序视频回放相比，该方法在多大程度上提升了训练实用性？
• RQ4 单应性变换引起的空间形变在专家用户进行表现分析时是否明显或具有干扰性？
• RQ5 该方法能否支持涉及手持智能手机拍摄或摄像机角度变化的实际训练场景？

主要发现

• 专家单板滑雪运动员表示，该方法生成的并排或叠加视频在检测身体动作细微差异方面，明显优于顺序视频回放。
• 参与者使用同步输出更有效地识别出具体表现差异，如助滑阶段的动作启动时间、手臂旋转角度以及跳跃过程中的旋转质量。
• 该方法被普遍认为对初学者评估跳跃质量特别有帮助，也便于将训练表现与比赛表现进行对比。
• 无任何参与者注意到由单应性变换引起的空间姿势形变，表明在测试范围内的摄像机角度差异下，该方法保持了良好的视觉保真度。
• 所有受访者均表示该方法在训练中具有实用价值，尤其适用于对比训练与比赛跳跃，以及通过将心理模型与实际表现对齐来学习新技巧。
• 该方法在实际应用中展现出潜力，但手动角点检测以及对手持视频缺乏支持，仍是限制其广泛部署的主要问题。