[论文解读] Visual Recognition of Isolated Swedish Sign Language Signs

Saad Ullah Akram, Jonas Beskow+1 more|arXiv (Cornell University)|Nov 16, 2012

Hand Gesture Recognition Systems参考文献 25被引用 8

一句话总结

本文提出了一种基于RGB-D的鲁棒系统，用于识别孤立的瑞典手语（SSL）手势，利用3D手部运动、手部形状和深度特征。通过应用费雪线性判别分析（LDA）减少签名者相关的可变性，该方法在94个词的词汇表上实现了94%的签名者相关识别准确率和47%的签名者无关识别准确率，显著优于基线方法。

ABSTRACT

We present a method for recognition of isolated Swedish Sign Language signs. The method will be used in a game intended to help children training signing at home, as a complement to training with a teacher. The target group is not primarily deaf children, but children with language disorders. Using sign language as a support in conversation has been shown to greatly stimulate the speech development of such children. The signer is captured with an RGB-D (Kinect) sensor, which has three advantages over a regular RGB camera. Firstly, it allows complex backgrounds to be removed easily. We segment the hands and face based on skin color and depth information. Secondly, it helps with the resolution of hand over face occlusion. Thirdly, signs take place in 3D; some aspects of the signs are defined by hand motion vertically to the image plane. This motion can be estimated if the depth is observable. The 3D motion of the hands relative to the torso are used as a cue together with the hand shape, and HMMs trained with this input are used for classification. To obtain higher robustness towards differences across signers, Fisher Linear Discriminant Analysis is used to find the combinations of features that are most descriptive for each sign, regardless of signer. Experiments show that the system can distinguish signs from a challenging 94 word vocabulary with a precision of up to 94% in the signer dependent case and up to 47% in the signer independent case.

研究动机与目标

• 开发一种用于语言障碍儿童的实时手语识别系统，通过手语使用支持语言发展。
• 解决个体间签名风格的高变异性，特别是非聋哑签名者中不一致或变化的签名模式。
• 在复杂背景、光照和服装变化的自然环境中提高系统的鲁棒性。
• 通过将深度信息融入手部运动特征，提升3D轨迹建模能力，从而提高识别性能。
• 通过基于LDA的特征变换实现签名者无关的识别，将与类别相关特征与个体签名风格分离。

提出的方法

• 系统使用RGB-D传感器（Kinect）实时捕获签名者的彩色图像、深度图和运动数据。
• 通过肤色、深度阈值和运动线索进行手部与面部分割，从复杂背景中分离出手部。
• 通过跟踪手部相对于躯干在时间序列上的位置，提取3D手部轨迹，作为主要运动特征。
• 手部形状通过手部轮廓上的方向梯度直方图（HOG）表示，形状描述符（S）从深度图中计算得出。
• 应用费雪线性判别分析（LDA）将高维特征向量投影到低维空间，以最大化类间可分性并最小化签名者间的类内差异。
• 在LDA变换后的特征上训练隐马尔可夫模型（HMMs）进行分类，每个手势使用独立的模型。

实验结果

研究问题

• RQ1 基于3D手部运动的识别系统是否能在自然、非受控环境中实现对孤立瑞典手语手势的高准确率识别？
• RQ2 与仅使用2D RGB特征相比，引入深度信息在多大程度上提升了识别性能？
• RQ3 费雪LDA在多大程度上减少了个体签名风格差异对识别准确率的影响？
• RQ4 该系统是否能为语言障碍儿童实现可靠的签名者无关识别，这些儿童的签名行为具有高度变异性？
• RQ5 在真实世界的游戏化学习环境中，签名者相关与签名者无关识别之间的性能差距是多少？

主要发现

• 系统在94个词的SSL词汇表上实现了94%的签名者相关识别准确率，表明对个体签名风格具有高度鲁棒性。
• 在签名者无关设置下，经过LDA特征变换后系统达到47%的准确率，相比无LDA的基线方法提升了10–15%。
• 对于签名者A，LDA(25)的最佳性能为39.97%，表明LDA显著提升了稳定签名者的识别效果。
• LDA未提升签名者B的识别性能，该签名者表现出不一致、随机的签名行为，表明LDA在非稳定签名者中存在局限性。
• 混淆矩阵显示，LDA最有效地减少了因签名者间变异性高的手势错误，而对所有签名者表现一致的手势影响最小。
• 在运动特征中引入深度信息显著提升了识别性能，因为3D运动为涉及相对于图像平面垂直运动的手势提供了关键线索。