[论文解读] Real-time Recognition of Yoga Poses using computer Vision for Smart Health Care

Abhishek Sharma, Yash Shah+2 more|arXiv (Cornell University)|Jan 19, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本文提出了一种基于骨骼特征提取和基于角度的关节分析的实时计算机视觉系统，可实现准确的瑜伽体位和手势印契（mudra）识别。利用自建的 YOGI 数据集（包含10个体位和5种手势印契），该方法在 XGBoost 与随机搜索超参数调优交叉验证（Randomized Search CV）下实现了99.2%的准确率，可为智能健康应用提供实时反馈。

ABSTRACT

Nowadays, yoga has become a part of life for many people. Exercises and sports technological assistance is implemented in yoga pose identification. In this work, a self-assistance based yoga posture identification technique is developed, which helps users to perform Yoga with the correction feature in Real-time. The work also presents Yoga-hand mudra (hand gestures) identification. The YOGI dataset has been developed which include 10 Yoga postures with around 400-900 images of each pose and also contain 5 mudras for identification of mudras postures. It contains around 500 images of each mudra. The feature has been extracted by making a skeleton on the body for yoga poses and hand for mudra poses. Two different algorithms have been used for creating a skeleton one for yoga poses and the second for hand mudras. Angles of the joints have been extracted as a features for different machine learning and deep learning models. among all the models XGBoost with RandomSearch CV is most accurate and gives 99.2\% accuracy. The complete design framework is described in the present paper.

研究动机与目标

• 开发一种基于计算机视觉的实时、自助式瑜伽体位识别系统，用于智能健康应用。
• 创建一个包含10个体位和5种手势印契的新颖且全面的数据集（YOGI），用于模型训练与评估。
• 提取骨骼特征与关节角度作为体位和手势印契分类的判别性输入。
• 对比多种机器学习与深度学习模型，以实现最佳准确率与实时性能。
• 实现实时姿势纠正反馈，支持用户在家中进行自我引导的瑜伽练习。

提出的方法

• 为每个瑜伽体位创建了400至900张图像的自建 YOGI 数据集，每种手势印契包含500张图像。
• 分别使用专用的骨架化算法，为全身瑜伽体位和手部动作生成骨骼表示。
• 从骨骼结构中提取关节角度作为体位与手势印契识别的关键特征。
• 在提取的特征上训练并评估多种模型，包括使用随机搜索超参数调优交叉验证（Randomized Search CV）的 XGBoost。
• 通过优化的特征提取与模型部署流水线，实现实时推理。
• 系统设计用于在实时瑜伽练习过程中提供姿势正确性的即时反馈。

实验结果

研究问题

• RQ1 基于骨骼与角度特征的实时计算机视觉系统能否准确识别10种标准瑜伽体位？
• RQ2 自建的 YOGI 数据集在支持高准确率瑜伽体位与手势印契识别方面效果如何？
• RQ3 哪种机器学习模型在从视觉输入中分类瑜伽体位与手势印契时达到最高准确率？
• RQ4 从骨骼表示中提取的关节角度特征是否优于基于原始图像的特征？
• RQ5 在智能健康应用中，此类系统在实时、自助式瑜伽练习中的可行性如何？

主要发现

• 使用随机搜索超参数调优交叉验证（Randomized Search CV）的 XGBoost 模型在 YOGI 数据集上对瑜伽体位识别的准确率最高，达到99.2%。
• YOGI 数据集包含10个体位与5种手势印契，其多样性与规模足以支持稳健的模型训练。
• 从骨骼表示中提取的关节角度特征在分类任务中表现极为有效。
• 该系统展示了适合在瑜伽练习中提供实时反馈的性能。
• 为全身体位与手部动作分别使用专用骨架化算法，提升了特征提取的准确性。
• 在所有评估的模型中，XGBoost 在准确率与推理速度两方面均优于深度学习基线模型。