[论文解读] TraHGR: Transformer for Hand Gesture Recognition via ElectroMyography

Soheil Zabihi, Elahe Rahimian+2 more|arXiv (Cornell University)|Mar 28, 2022

Muscle activation and electromyography studies被引用 4

一句话总结

本文提出TraHGR，一种基于混合Transformer的深度学习框架，用于使用稀疏多通道表面肌电信号（sEMG）进行手势识别。通过结合两条并行路径——利用Transformer编码器进行时间建模，以及利用CNN进行空间特征提取——并随后通过融合层整合，TraHGR在DB2-D子集（9种手势）上实现了93.84%的最先进准确率，相比先前方法最高提升4.30%。

ABSTRACT

Deep learning-based Hand Gesture Recognition (HGR) via surface Electromyogram (sEMG) signals has recently shown significant potential for development of advanced myoelectric-controlled prosthesis. Existing deep learning approaches, typically, include only one model as such can hardly maintain acceptable generalization performance in changing scenarios. In this paper, we aim to address this challenge by capitalizing on the recent advances of hybrid models and transformers. In other words, we propose a hybrid framework based on the transformer architecture, which is a relatively new and revolutionizing deep learning model. The proposed hybrid architecture, referred to as the Transformer for Hand Gesture Recognition (TraHGR), consists of two parallel paths followed by a linear layer that acts as a fusion center to integrate the advantage of each module and provide robustness over different scenarios. We evaluated the proposed architecture TraHGR based on the commonly used second Ninapro dataset, referred to as the DB2. The sEMG signals in the DB2 dataset are measured in the real-life conditions from 40 healthy users, each performing 49 gestures. We have conducted extensive set of experiments to test and validate the proposed TraHGR architecture, and have compared its achievable accuracy with more than five recently proposed HGR classification algorithms over the same dataset. We have also compared the results of the proposed TraHGR architecture with each individual path and demonstrated the distinguishing power of the proposed hybrid architecture. The recognition accuracies of the proposed TraHGR architecture are 86.18%, 88.91%, 81.44%, and 93.84%, which are 2.48%, 5.12%, 8.82%, and 4.30% higher than the state-ofthe-art performance for DB2 (49 gestures), DB2-B (17 gestures), DB2-C (23 gestures), and DB2-D (9 gestures), respectively.

研究动机与目标

• 解决由于数据有限和电极位置敏感性导致的稀疏多通道sEMG手势识别中识别准确率低下的挑战。
• 克服单模型深度学习方法在不同现实场景中泛化能力有限的问题。
• 利用Transformer的注意力机制建模sEMG信号中的长程时间依赖关系，同时保留肌肉激活的空间模式。
• 设计一种融合时间与空间表征的混合架构，以提升在多样化手势集上的鲁棒性与性能。
• 在基准Ninapro DB2数据集上，相比传统机器学习方法和现有深度神经网络方法，展示出更优的性能。

提出的方法

• 设计双路径混合架构：一条路径通过Transformer编码器处理sEMG信号，利用多头自注意力机制捕捉长程时间依赖关系。
• 第二条路径采用一维卷积神经网络（CNN）从多通道sEMG信号中提取局部空间模式。
• 通过可学习的融合层，利用线性变换将两条路径的输出进行整合，以生成最终分类结果。
• 使用包含交叉熵损失（用于最终预测）和中间监督的辅助损失（分别作用于每条路径）的多组件损失函数进行模型训练。
• 使用Adam优化器和学习率调度策略，通过反向传播端到端优化整个架构。
• 应用数据增强和归一化技术，以提升在不同受试者和手势类型之间的泛化能力。

实验结果

研究问题

• RQ1 在真实生活条件下，混合Transformer-CNN架构是否能优于单模型深度学习方法在sEMG手势识别中的表现？
• RQ2 与RNN或CNN相比，Transformer中的自注意力机制在建模稀疏sEMG信号的时间依赖关系方面能提升多少？
• RQ3 融合时间表征（Transformer）与空间表征（CNN）是否能提升在不同手势集和受试者之间的泛化能力？
• RQ4 与标准交叉熵损失相比，所提出的多组件损失函数如何影响模型收敛性和识别准确率？
• RQ5 所提出的TraHGR框架是否能在Ninapro DB2数据集上实现最先进性能，尤其是在较小的手势子集上？

主要发现

• TraHGR在完整DB2数据集（49种手势）上实现了86.18%的识别准确率，比最先进DNN方法高出2.48%。
• 在DB2-B子集（17种手势）上，TraHGR达到88.91%的准确率，较之前最先进方法提升5.12%。
• 在DB2-C子集（23种手势）上，模型达到81.44%的准确率，较先前最佳方法提升8.82%。
• 在DB2-D子集（9种手势）上，TraHGR实现93.84%的准确率，超越先前最先进方法4.30%。
• 消融实验证实，采用联合训练和多组件损失的混合架构优于单一路径（TNet与FNet），证明了特征融合的有效性。
• 即使在更短的窗口尺寸下，该模型仍保持优异性能——例如在100ms窗口下准确率达到84.13%，超过先前方法在200ms窗口下的81.1%准确率。