[论文解读] Towards the extraction of robust sign embeddings for low resource sign language recognition

Mathieu De Coster, Ellen Rushe+3 more|arXiv (Cornell University)|Jun 30, 2023

Hand Gesture Recognition Systems被引用 5

一句话总结

本文提出了一种针对低资源手语识别的鲁棒关键点基础嵌入流水线，通过姿态归一化、缺失关键点插补以及可学习的姿态嵌入（SignPose2Vec），实现在不同手语之间的有效迁移学习。该方法在性能上表现优异，优于基于图像的模型，尤其在仅微调分类器层时表现突出，并实现了多语言学习，且准确率损失极小。

ABSTRACT

Isolated Sign Language Recognition (SLR) has mostly been applied on datasets containing signs executed slowly and clearly by a limited group of signers. In real-world scenarios, however, we are met with challenging visual conditions, coarticulated signing, small datasets, and the need for signer independent models. To tackle this difficult problem, we require a robust feature extractor to process the sign language videos. One could expect human pose estimators to be ideal candidates. However, due to a domain mismatch with their training sets and challenging poses in sign language, they lack robustness on sign language data and image-based models often still outperform keypoint-based models. Furthermore, whereas the common practice of transfer learning with image-based models yields even higher accuracy, keypoint-based models are typically trained from scratch on every SLR dataset. These factors limit their usefulness for SLR. From the existing literature, it is also not clear which, if any, pose estimator performs best for SLR. We compare the three most popular pose estimators for SLR: OpenPose, MMPose and MediaPipe. We show that through keypoint normalization, missing keypoint imputation, and learning a pose embedding, we can obtain significantly better results and enable transfer learning. We show that keypoint-based embeddings contain cross-lingual features: they can transfer between sign languages and achieve competitive performance even when fine-tuning only the classifier layer of an SLR model on a target sign language. We furthermore achieve better performance using fine-tuned transferred embeddings than models trained only on the target sign language. The embeddings can also be learned in a multilingual fashion. The application of these embeddings could prove particularly useful for low resource sign languages in the future.

研究动机与目标

• 解决在实际场景中因签名风格、光照条件和签名者差异而带来的低资源手语识别挑战。
• 克服现有基于关键点的模型的局限性，这些模型常因姿态估计算法误差和关键点表征不佳而表现不如基于图像的模型。
• 实现基于关键点的手语识别模型的迁移学习，而此前该技术主要局限于基于图像的模型。
• 探索通过跨不同手语共享姿态嵌入实现多语言手语建模。
• 证明基于关键点的模型在仅需极少微调的情况下即可实现与图像模型相当的性能，尤其在低资源场景下表现更优。

提出的方法

• 在手语视频数据上评估三种主流姿态估计算法——OpenPose、MMPose 和 MediaPipe，以确定最鲁棒的基线模型。
• 应用关键点归一化以减少因身体形态和相机视角差异带来的变异性。
• 采用时空插值方法实现缺失关键点的插补，以应对不可靠的预测结果。
• 提出 SignPose2Vec，一种非线性姿态嵌入层，能够从归一化并插补后的关键点序列中学习判别性签名表征。
• 在数据集和手语之间训练并迁移姿态嵌入，实现零样本和少样本迁移学习。
• 采用语言条件嵌入的多语言训练策略，联合学习不同手语之间的表征。

Figure 1: The class distribution of the entire VGT dataset shows a large class imbalance.

实验结果

研究问题

• RQ1 在低资源环境下，三种主流姿态估计算法（OpenPose、MMPose 和 MediaPipe）中，哪一种在手语识别任务中最具鲁棒性？
• RQ2 通过改进预处理和表征学习，基于关键点的模型能否实现与基于图像的模型相当的性能？
• RQ3 在仅微调分类器层的情况下，基于关键点的手语识别模型中，迁移学习的适用程度如何？
• RQ4 在不同手语之间，能否实现姿态嵌入的跨语言迁移，且性能下降最小？
• RQ5 使用共享嵌入训练的多语言手语识别模型是否优于单语模型？微调是否仍是实现最优性能的必要步骤？

主要发现

• MediaPipe 在速度和鲁棒性方面优于 OpenPose 和 MMPose，尽管其在约 10% 的帧中仍会遗漏手部关键点。
• 关键点归一化与缺失值插补显著提升了下游手语识别的准确率，使基于关键点的模型超越了以往基于图像的模型性能。
• 使用 SignPose2Vec 姿态嵌入进行迁移学习，即使仅微调分类器，其准确率也高于在目标数据集上从零开始训练的模型。
• 姿态嵌入的跨语言迁移在无需微调的情况下即取得具有竞争力的结果，且准确率下降极小（例如，在 VGT 上实现 1.37% 的准确率提升，使用条件化多语言模型）。
• 在微调后，条件化多语言模型优于单语模型，在 VGT 上实现 +1.37% 的准确率提升，在 NGT 上实现 +0.19% 的提升，同时降低了训练复杂度。
• 在微调分类器后继续微调整个网络，可获得最高性能，其中 VTN 模型在 VGT 上达到 46.78% 的准确率，接近仅在 VGT 上训练的模型（48.15%）的性能。

Figure 2: For cases such as these (the right hand is missing in the second frame but present in the first and third), linear interpolation can impute missing keypoints.