[论文解读] Neural Sign Language Translation based on Human Keypoint Estimation

Sang‐Ki Ko, Chang Kim+2 more|arXiv (Cornell University)|Nov 28, 2018

Hand Gesture Recognition Systems参考文献 57被引用 15

一句话总结

本文提出了一种基于视频中2D人体关键点估计的神经手语翻译系统，采用一种新颖的关键点特征归一化技术。在新提出的14,672个高质量视频的KETI韩国手语数据集上进行训练，该模型在105个与紧急情况相关的句子上，验证集准确率达到93.28%，测试集准确率达到55.28%，采用带有注意力机制的序列到序列架构。

ABSTRACT

We propose a sign language translation system based on human keypoint estimation. It is well-known that many problems in the field of computer vision require a massive amount of dataset to train deep neural network models. The situation is even worse when it comes to the sign language translation problem as it is far more difficult to collect high-quality training data. In this paper, we introduce the KETI (short for Korea Electronics Technology Institute) sign language dataset which consists of 14,672 videos of high resolution and quality. Considering the fact that each country has a different and unique sign language, the KETI sign language dataset can be the starting line for further research on the Korean sign language translation. Using the KETI sign language dataset, we develop a neural network model for translating sign videos into natural language sentences by utilizing the human keypoints extracted from a face, hands, and body parts. The obtained human keypoint vector is normalized by the mean and standard deviation of the keypoints and used as input to our translation model based on the sequence-to-sequence architecture. As a result, we show that our approach is robust even when the size of the training data is not sufficient. Our translation model achieves 93.28% (55.28%, respectively) translation accuracy on the validation set (test set, respectively) for 105 sentences that can be used in emergency situations. We compare several types of our neural sign translation models based on different attention mechanisms in terms of classical metrics for measuring the translation performance.

研究动机与目标

• 为解决当前深度学习模型训练中缺乏大规模、高质量手语数据集的严峻问题。
• 开发一种神经手语翻译系统，利用人体关键点特征将手语视频翻译为自然语言句子。
• 通过归一化关键点坐标并利用时空建模，在低数据量条件下提升模型鲁棒性。
• 评估不同身体部位（手、面部、身体）对手语翻译性能的贡献。
• 基于国家特定数据集（韩语）建立未来手语翻译研究的基础。

提出的方法

• 系统使用OpenPose从手语视频中提取135个人体关键点的2D坐标，包括面部、双手和身体。
• 通过每个关键点的均值和标准差对关键点坐标进行归一化，以减少不同手语者和摄像机角度带来的差异。
• 将归一化后的关键点序列输入到带有注意力机制的序列到序列神经翻译模型中。
• 模型被训练为将关键点嵌入的时间序列映射到对应的韩语自然语言句子。
• 对比多种注意力机制（如Bahdanov、Luong）以优化翻译性能。
• 通过消融研究评估仅使用手、面部或身体关键点，以及三者组合时的性能贡献。

实验结果

研究问题

• RQ1 人体关键点估计作为手语翻译的特征表示有多有效？
• RQ2 不同身体部位（手、面部、身体）在多大程度上贡献于翻译准确率？
• RQ3 在训练数据有限的情况下，归一化的关键点表示能否提升模型泛化能力？
• RQ4 该系统在真实世界变化（如杂乱背景和非专业手语者）下的表现如何？
• RQ5 注意力机制对手语建模中翻译质量的影响是什么？

主要发现

• 所提出的系统在105个与紧急情况相关的句子上，验证集翻译准确率达到93.28%，测试集准确率达到55.28%。
• 模型在真实世界条件下泛化良好，在包含非专业手语者和杂乱背景的测试集上，ROUGE-L达到89.06，METEOR为60.64，BLEU为77.08，CIDEr为2.860。
• 双手的关键点信息对性能贡献最大，仅使用手部特征时ROUGE-L达到72.03。
• 添加面部关键点会持续降低性能，可能是因为关键点数量不平衡（70个面部 vs. 12个体型和24个手部关键点）。
• 尽管损失了相对空间关系，但加入身体关键点仍能提升性能（手和身体组合时ROUGE-L为74.02），表明身体关键点提供了有用的定位上下文信息。
• 消融研究证实，在本设置下，手部和身体关键点比面部关键点更具信息量，对手语翻译更为重要。