[论文解读] SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos

Xin Chen, Anqi Pang+4 more|arXiv (Cornell University)|Apr 23, 2021

Human Pose and Action Recognition参考文献 61被引用 4

一句话总结

SportsCap 提出了一种新颖的单目 3D 人体动作捕捉与细粒度动作理解框架，适用于具有挑战性的体育视频，通过结合语义和时序先验的运动嵌入空间，联合提升 3D 姿态估计与子动作属性预测性能。该方法在动作捕捉与动作解析任务上均达到最先进性能，在 SMART 数据集上准确率达到 61.7%，在 AQA 数据集上达到 86.2%。

ABSTRACT

Markerless motion capture and understanding of professional non-daily human movements is an important yet unsolved task, which suffers from complex motion patterns and severe self-occlusion, especially for the monocular setting. In this paper, we propose SportsCap -- the first approach for simultaneously capturing 3D human motions and understanding fine-grained actions from monocular challenging sports video input. Our approach utilizes the semantic and temporally structured sub-motion prior in the embedding space for motion capture and understanding in a data-driven multi-task manner. To enable robust capture under complex motion patterns, we propose an effective motion embedding module to recover both the implicit motion embedding and explicit 3D motion details via a corresponding mapping function as well as a sub-motion classifier. Based on such hybrid motion information, we introduce a multi-stream spatial-temporal Graph Convolutional Network(ST-GCN) to predict the fine-grained semantic action attributes, and adopt a semantic attribute mapping block to assemble various correlated action attributes into a high-level action label for the overall detailed understanding of the whole sequence, so as to enable various applications like action assessment or motion scoring. Comprehensive experiments on both public and our proposed datasets show that with a challenging monocular sports video input, our novel approach not only significantly improves the accuracy of 3D human motion capture, but also recovers accurate fine-grained semantic action attributes.

研究动机与目标

• 解决复杂体育动作的单目视频中准确 3D 人体动作捕捉与细粒度动作理解的挑战。
• 在学习到的嵌入空间中利用语义与时间结构化的子动作先验，提升在严重自遮挡与深度模糊情况下的鲁棒性。
• 在多任务学习框架中联合优化 3D 动作捕捉与详细动作属性预测。
• 构建一个新的数据集（SMART），包含丰富的 2D/3D 姿态标注与细粒度动作标签，用于专业体育运动。
• 通过提供详细的语义动作理解，支持实际应用如动作评分、表现评估以及 VR/AR 应用。

提出的方法

• 该方法引入一种基于主成分分析（PCA）的运动嵌入空间，用于建模体操平衡木、拳击、跳高类运动中子动作的合理姿态流形。
• 隐式运动嵌入网络估计每帧的嵌入参数，并通过映射函数恢复 3D 动作细节，同时子动作分类器识别中层动作类别。
• 多流时空图卷积网络（ST-GCN）同时处理隐式嵌入与显式 3D 动作流，以预测细粒度语义动作属性。
• 语义属性映射模块将相关联的动作属性融合为高层动作标签，实现对完整动作序列的综合理解。
• 框架采用交叉熵损失进行子动作分类，并在动作捕捉与动作解析任务上进行联合训练。
• 该方法在新构建的数据集（SMART）上进行训练，并在 SMART 与 AQA 两个数据集上评估动作理解与动作捕捉性能。

实验结果

研究问题

• RQ1 统一框架能否在单目体育视频中联合提升 3D 人体动作捕捉与细粒度动作理解？
• RQ2 在学习到的嵌入空间中，语义与时间结构化的子动作先验在多大程度上能增强对遮挡与深度模糊的鲁棒性？
• RQ3 隐式运动嵌入与显式 3D 动作细节在多大程度上可被联合利用以实现准确的动作属性预测？
• RQ4 多流 ST-GCN 是否能有效建模隐式与显式运动表征，以实现细粒度动作解析？
• RQ5 与当前最先进方法相比，该方法在 3D 姿态精度与动作理解性能方面表现如何？

主要发现

• SportsCap 在 SMART 数据集上的动作解析任务中达到 61.7% 的准确率，表明其在细粒度语义动作属性预测方面表现强劲。
• 该方法在 AQA 数据集上达到 86.2% 的准确率，表明其在多样化体育动作理解任务中具备强大泛化能力。
• 运动嵌入模块显著提升了在单目设置下严重自遮挡与深度模糊情况下的 3D 动作捕捉鲁棒性。
• 结合语义属性映射的多流 ST-GCN 能够准确预测相关联的动作属性与高层动作标签。
• 联合多任务学习框架在 3D 动作捕捉与动作理解之间实现相互促进，优于单任务基线模型。
• 失败案例主要源于未见过的姿势、极端遮挡或图像裁剪，表明在处理罕见或不完整输入方面仍有改进空间。