[论文解读] TEMGNet: Deep Transformer-based Decoding of Upperlimb sEMG for Hand Gestures Recognition

Elahe Rahimian, Soheil Zabihi+4 more|arXiv (Cornell University)|Sep 25, 2021

Muscle activation and electromyography studies参考文献 28被引用 19

一句话总结

该论文提出TEMGNet，一种基于视觉Transformer的深度学习模型，在仅使用65,713个可训练参数（比先前模型少七倍）的情况下，实现了基于表面肌电信号（sEMG）的上肢手势识别的最先进准确率。在300ms窗口下，该模型在NinaPro DB2数据集上达到了82.93%的准确率，展示了卓越的性能和更低的结构复杂度，且无需预训练或微调。

ABSTRACT

There has been a surge of recent interest in Machine Learning (ML), particularly Deep Neural Network (DNN)-based models, to decode muscle activities from surface Electromyography (sEMG) signals for myoelectric control of neurorobotic systems. DNN-based models, however, require large training sets and, typically, have high structural complexity, i.e., they depend on a large number of trainable parameters. To address these issues, we developed a framework based on the Transformer architecture for processing sEMG signals. We propose a novel Vision Transformer (ViT)-based neural network architecture (referred to as the TEMGNet) to classify and recognize upperlimb hand gestures from sEMG to be used for myocontrol of prostheses. The proposed TEMGNet architecture is trained with a small dataset without the need for pre-training or fine-tuning. To evaluate the efficacy, following the-recent literature, the second subset (exercise B) of the NinaPro DB2 dataset was utilized, where the proposed TEMGNet framework achieved a recognition accuracy of 82.93% and 82.05% for window sizes of 300ms and 200ms, respectively, outperforming its state-of-the-art counterparts. Moreover, the proposed TEMGNet framework is superior in terms of structural capacity while having seven times fewer trainable parameters. These characteristics and the high performance make DNN-based models promising approaches for myoelectric control of neurorobots.

研究动机与目标

• 解决现有用于sEMG肌电控制的深度神经网络模型参数量过高且数据需求量大的问题。
• 通过注意力机制提升手势识别准确率，以捕捉sEMG信号中的长程时间依赖关系。
• 通过利用Transformer的可并行自注意力机制，降低模型复杂度和训练成本。
• 证明Transformer可在小规模sEMG数据集上有效训练，无需预训练或微调。
• 开发一种紧凑且高性能的模型，适用于实时假肢控制应用。

提出的方法

• 所提出的TEMGNet架构基于视觉Transformer（ViT）框架，将sEMG信号转换为类似图像的图像块作为输入。
• 每个sEMG信号窗口被划分为12×12大小的非重叠图像块，并在图像块嵌入中添加可学习的分类标记和位置嵌入。
• 模型使用多头自注意力机制，以捕捉sEMG数据中时间与空间特征之间的长程依赖关系。
• 位置嵌入在训练过程中学习，以编码图像块的序列顺序，使模型能够理解时间结构。
• 模型在NinaPro DB2数据集上端到端训练，无需预训练或微调，使用交叉熵损失进行分类。
• 通过超参数消融研究，对模型深度（层数）、模型维度（d）和图像块大小进行了优化，以提升性能。

实验结果

研究问题

• RQ1 基于视觉Transformer的架构是否能在可训练参数极少的情况下，实现sEMG手势识别的高准确率？
• RQ2 Transformer中的自注意力机制是否在捕捉sEMG信号的时间与空间特征方面优于RNN和CNN？
• RQ3 Transformer模型是否可在无需预训练或微调的情况下，有效训练于小规模sEMG数据集？
• RQ4 模型深度和维度如何影响sEMG分类中的识别准确率和参数效率？
• RQ5 所学习的位置嵌入在在多大程度上编码了sEMG信号中的序列关系？

主要发现

• TEMGNet在NinaPro DB2数据集上，使用300ms窗口，实现了82.93%的识别准确率，优于最先进模型。
• 在200ms窗口下，模型准确率达到82.05%，超过先前研究报道的79.0%。
• 该模型仅含65,713个可训练参数，相比性能最佳的基线模型（466,944参数）将结构复杂度降低了七倍。
• 当模型深度超过两层后，准确率不再提升，表明在某一深度后收益递减。
• Wilcoxon符号秩检验确认，模型1与模型4之间的性能差异具有统计学显著性（p ≤ 1.00e-4）。
• 位置嵌入的可视化结果表明，模型能够学习编码序列关系，相邻图像块的位置嵌入向量具有更高的相似性。