[论文解读] Pose Trainer: Correcting Exercise Posture using Pose Estimation

Steven Chen, Richard R. Yang|arXiv (Cornell University)|Jun 21, 2020

Human Pose and Action Recognition参考文献 9被引用 52

一句话总结

Pose Trainer 通过 OpenPose 检测运动姿势，并使用几何启发式方法和基于 DTW 的机器学习方法提供个性化的动作规范反馈，在四种哑铃练习的记录数据集上进行评估。

ABSTRACT

Fitness exercises are very beneficial to personal health and fitness; however, they can also be ineffective and potentially dangerous if performed incorrectly by the user. Exercise mistakes are made when the user does not use the proper form, or pose. In our work, we introduce Pose Trainer, an application that detects the user's exercise pose and provides personalized, detailed recommendations on how the user can improve their form. Pose Trainer uses the state of the art in pose estimation to detect a user's pose, then evaluates the vector geometry of the pose through an exercise to provide useful feedback. We record a dataset of over 100 exercise videos of correct and incorrect form, based on personal training guidelines, and build geometric-heuristic and machine learning algorithms for evaluation. Pose Trainer works on four common exercises and supports any Windows or Linux computer with a GPU.

研究动机与目标

• 通过自动姿态分析确保正确的练习姿势来降低受伤风险。
• 利用前沿的姿态估计从视频中提取骨架关键点。
• 开发启发式方法和机器学习方法来评估并给出姿势反馈。
• 创建一个桌面应用工作流，用于处理练习视频并输出有针对性的指导。

提出的方法

• 使用 OpenPose 对18个关节进行实时2D关键点检测，作为输入特征。
• 通过躯干长度对姿势进行归一化，以适应个体体型差异。
• 应用透视检测以识别正在进行练习的肢体。
• 基于关节角度和肢体向量，使用几何启发式方法评估姿势。
• 在带标签的视频上训练一个基于动态时间规整（DTW）的最近邻分类器来对姿势进行分类。
• 提供基于阈值化几何指标和 DTW 结果的具体文本反馈。

实验结果

研究问题

• RQ1 基于 OpenPose 的姿态估计是否可以可靠地支持对练习姿势的自动反馈？
• RQ2 几何启发式评估在检测正确与错误姿势方面如何与基于 DTW 的机器学习方法进行比较？
• RQ3 Pose Trainer 在不同常见练习中识别正确与不正确技术的有效性如何？

主要发现

练习	类别	精度	召回率	F1分数	示例
Bicep Curl	Correct	0.80	1.00	0.89	4
Bicep Curl	Incorrect	1.00	0.67	0.80	3
Bicep Curl	Avg/Total	0.89	0.86	0.85	7
Front Raise	Correct	1.00	1.00	1.00	6
Front Raise	Incorrect	1.00	1.00	1.00	6
Front Raise	Avg/Total	1.00	1.00	1.00	12
Shoulder Shrug	Correct	1.00	0.75	0.86	8
Shoulder Shrug	Incorrect	0.71	1.00	0.83	5
Shoulder Shrug	Avg/Total	0.89	0.85	0.85	13
Shoulder Press	Correct	0.67	0.86	0.75	7
Shoulder Press	Incorrect	0.83	0.62	0.71	8
Shoulder Press	Avg/Total	0.76	0.73	0.73	15

• 基于 DTW 的分类器在肱二头肌弯举数据集上达到 F1 分数0.85。
• Front raise DTW 分类器达到 F1 分数1.00。
• Shoulder shrug DTW 分类器达到 F1 分数0.85。
• Shoulder press DTW 分类器达到 F1 分数0.73。