[论文解读] TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials

Jinnavat Sanalohit, Tatpong Katanyukul|arXiv (Cornell University)|Jan 10, 2022

Hand Gesture Recognition Systems被引用 5

一句话总结

本论文针对泰语指拼（TFS）识别，评估了MediaPipe Hands（MPH）在三种方案中的表现：静态单手（S1）、简化动态单手（S2）以及指尖点位（P1）。MPH在S1和S2方案中，通过在提取的关键点上使用全连接人工神经网络（ANN），实现了84.57%的准确率；然而在P1方案中表现不佳（仅23.66%），主要由于自遮挡和手部左右手性问题；而基于原始关键点的自定义分类器在复杂背景下的准确率达到69.19%。

ABSTRACT

Thai Finger Spelling (TFS) sign recognition could benefit a community of hearing-difficulty people in bridging to a major hearing population. With a relatively large number of alphabets, TFS employs multiple signing schemes. Two schemes of more common signing -- static and dynamic single-hand signing, widely used in other sign languages -- have been addressed in several previous works. To complete the TFS sign recognition, the remaining two of quite distinct signing schemes -- static and dynamic point-on-hand signing -- need to be sufficiently addressed. With the advent of many off-the-shelf hand skeleton prediction models and that training a model to recognize a sign language from scratch is expensive, we explore an approach building upon recently launched MediaPipe Hands (MPH). MPH is a high-precision well-trained model for hand-keypoint detection. We have investigated MPH on three TFS schemes: static-single-hand (S1), simplified dynamic-single-hand (S2) and static-point-on-hand (P1) schemes. Our results show that MPH can satisfactorily address single-hand schemes with accuracy of 84.57% on both S1 and S2. However, our finding reveals a shortcoming of MPH in addressing a point-on-hand scheme, whose accuracy is 23.66% on P1 conferring to 69.19% obtained from conventional classification trained from scratch. This shortcoming has been investigated and attributed to self occlusion and handedness.

研究动机与目标

• 评估MediaPipe Hands（MPH）作为泰语指拼（TFS）识别中多种签名方案的特征提取器的效能。
• 填补静态指尖点位（P1）TFS方案识别的空白，该方案与单手方案相比具有显著差异且研究较少。
• 探究MPH在双手中同时存在且出现自遮挡与手部左右性冲突时的局限性。
• 将基于MPH的方法与传统从零开始训练的模型在指尖点位识别中的表现进行对比。
• 探索基于规则与神经网络方法在MPH提取的手部关键点上用于TFS识别的可行性。

提出的方法

• 利用MediaPipe Hands（MPH）从单手与双手图像中提取21个手部关键点坐标，用于TFS识别。
• 在S1与S2方案中，使用全连接人工神经网络（ANN）对MPH提取的关键点坐标进行分类，以识别TFS手势。
• 采用基于规则的方法，通过手指向量距离与相对阈值检测指尖点位（P1）手势，依据关键点位置进行判断。
• 在原始关键点数据上从零开始训练独立的ANN分类器，以与P1方案中基于MPH的流程进行性能对比。
• 在不同遮挡水平（0%至100%）与不同手部姿态组合（如正反面视角）下评估MPH的鲁棒性。
• 分析MPH在单手与双手配置下对手部左右性的识别准确率，尤其关注当双手呈现不同视角时（如一正一反）的影响。

实验结果

研究问题

• RQ1 MediaPipe Hands（MPH）能否在静态单手（S1）与简化动态单手（S2）方案中有效提取泰语指拼（TFS）识别的特征？
• RQ2 为何MPH在其他方案表现良好时，却无法识别静态指尖点位（P1）TFS手势？
• RQ3 自遮挡在多大程度上会降低MPH在TFS识别中的性能，特别是在指尖点位场景中？
• RQ4 当双手同时出现且视角不一致时（如一正一反），如何影响MPH对手部左右性的识别准确率？
• RQ5 在P1 TFS识别中，从零开始训练的关键点数据分类器是否能超越基于MPH的流程？

主要发现

• 在静态单手（S1）与简化动态单手（S2）TFS方案中，MPH通过在提取的关键点上使用全连接人工神经网络（ANN），实现了84.57%的准确率。
• MPH在静态指尖点位（P1）方案中的表现显著下降，使用MPH提取的关键点时准确率仅为23.66%。
• 在复杂背景下，从零开始训练的分类器在P1方案中达到69.19%的准确率，在简单背景下达到77.78%，优于基于MPH的流程。
• 自遮挡被确定为导致MPH在P1识别中失败的主要原因，性能在仅20%遮挡水平时即急剧下降。
• 当双手同时出现且视角冲突时（如左前右后），MPH在手部左右性识别上表现极差，准确率仅为10.00%。
• 在单手情况与同视角双手姿态下，MPH保持较高准确率（分别为93.33%与86.67%），但当手部视角冲突时性能显著下降。