[论文解读] Sign Language Recognition Using Temporal Classification

Hardie Cate, Fahim Dalvi+1 more|arXiv (Cornell University)|Jan 7, 2017

Hand Gesture Recognition Systems参考文献 4被引用 9

一句话总结

该论文提出了一种基于传感器手部运动数据的签名语言识别系统，采用时间分类技术，结合SVM、逻辑回归和序列模式挖掘（SPM）对95个手势进行分类。结果表明，位置和旋转特征最具判别性，在低质量数据上使用SVM的测试误差为45%，且SPM与特征拼接可使准确率提升1%。

ABSTRACT

Devices like the Myo armband available in the market today enable us to collect data about the position of a user's hands and fingers over time. We can use these technologies for sign language translation since each sign is roughly a combination of gestures across time. In this work, we utilize a dataset collected by a group at the University of South Wales, which contains parameters, such as hand position, hand rotation, and finger bend, for 95 unique signs. For each input stream representing a sign, we predict which sign class this stream falls into. We begin by implementing baseline SVM and logistic regression models, which perform reasonably well on high quality data. Lower quality data requires a more sophisticated approach, so we explore different methods in temporal classification, including long short term memory architectures and sequential pattern mining methods.

研究动机与目标

• 通过使用可穿戴传感器实现实时签名语言到文本的转换，以解决听力障碍者的沟通障碍。
• 通过使用Myo臂环等可穿戴设备捕捉手部和手指运动数据，克服基于摄像头系统的局限性。
• 开发在不同数据质量和签名者熟练程度下具有良好泛化能力的时间分类模型。
• 识别时间序列传感器数据中最具判别性的特征。
• 在高质量和低质量数据集上，评估并比较多种机器学习技术，包括SPM、SVM和逻辑回归。

提出的方法

• 使用来自可穿戴手套的高质量数据集（200 Hz，6位手指弯曲，14位腕部位置/方向）和低质量数据集（50 Hz，2位手指弯曲，8位腕部数据）。
• 通过快速傅里叶变换重采样实现时间尺度归一化，以统一不同语速下的手势持续时间。
• 执行空间尺度归一化，以消除不同用户和会话间手势幅度的差异。
• 使用序列模式挖掘（SPM）从多变量时间序列数据中提取具有判别性的时序模式，优化窗口大小和模式长度。
• 对SVM进行消融研究，分别单独移除位置、旋转和手指特征，以及组合移除，以评估特征重要性。
• 将SPM提取的特征与原始展平特征拼接，以提升模型性能，在小样本子集上实现相较于基线SVM 1%的准确率提升。

实验结果

研究问题

• RQ1 时间分类技术能否有效识别来自可穿戴设备采集的多变量时间序列传感器数据的签名语言？
• RQ2 在不同数据质量水平下，哪些传感器特征——手部位置、旋转或手指弯曲——对签名分类最具判别性？
• RQ3 数据质量（采样率、精度）如何影响机器学习模型在签名语言识别中的性能？
• RQ4 与SVM和逻辑回归等传统模型相比，序列模式挖掘（SPM）在多大程度上能提升分类准确率？
• RQ5 将SPM提取的特征与原始展平特征拼接，是否能带来可测量的分类性能提升？

主要发现

• 右手腕的位置和旋转特征最具判别性，因为在SVM消融实验中移除它们会使测试误差从0.450上升至0.786。
• 同时移除位置和旋转特征会导致误差急剧上升至0.881，表明二者在签名判别中起关键作用。
• 手指弯曲特征对性能贡献较小，因为其移除仅引起微小的误差增加（例如，移除F4后误差为0.458）。
• SPM模型在小窗口尺寸和最大模式长度（小于10）时表现最佳，表明瞬时手势比长序列更具判别性。
• 将SPM提取的特征与原始展平特征拼接后，相较于基线SVM在小样本子集上实现了1%的准确率提升。
• 随着签名类别数量的增加，最优SPM窗口尺寸减小，表明模式特异性与泛化能力之间存在权衡。