[论文解读] sEMG-based Hand Gesture Recognition with Deep Learning

Marcello Zanghieri|arXiv (Cornell University)|Jun 19, 2023

Muscle activation and electromyography studies被引用 4

一句话总结

本硕士论文首次将深度学习应用于Unibo-INAIL表面肌电信号（sEMG）数据集，采用PyTorch中的1D-CNN对表面EMG信号进行手势分类。尽管其跨姿势准确率达到81.2%，跨日准确率达到75.9%，与RBF-SVM基线模型表现相当，但本研究证明，多姿势和近期数据优先的训练策略能显著提升泛化性能，凸显用户适应性，并表明1D-CNN是未来人机交互（HMI）研究的有力候选方法。

ABSTRACT

Hand gesture recognition based on surface electromyographic (sEMG) signals is a promising approach for developing Human-Machine Interfaces (HMIs) with a natural control, such as intuitive robot interfaces or poly-articulated prostheses. However, real-world applications are limited by reliability problems due to motion artefacts, postural and temporal variability, and sensor re-positioning. This master thesis is the first application of deep learning on the Unibo-INAIL dataset, the first public sEMG dataset exploring the variability between subjects, sessions and arm postures by collecting data over 8 sessions of each of 7 able-bodied subjects executing 6 hand gestures in 4 arm postures. Recent studies address variability with strategies based on training set composition, which improve inter-posture and inter-day generalization of non-deep machine learning classifiers, among which the RBF-kernel SVM yields the highest accuracy. The deep architecture realized in this work is a 1d-CNN inspired by a 2d-CNN reported to perform well on other public benchmark databases. On this 1d-CNN, various training strategies based on training set composition were implemented and tested. Multi-session training proves to yield higher inter-session validation accuracies than single-session training. Two-posture training proves the best postural training (proving the benefit of training on more than one posture) and yields 81.2% inter-posture test accuracy. Five-day training proves the best multi-day training, yielding 75.9% inter-day test accuracy. All results are close to the baseline. Moreover, the results of multi-day training highlight the phenomenon of user adaptation, indicating that training should also prioritize recent data. Though not better than the baseline, the achieved classification accuracies rightfully place the 1d-CNN among the candidates for further research.

研究动机与目标

• 评估深度学习方法，特别是1D-CNN，在首个公开的Unibo-INAIL sEMG数据集上的表现，该数据集捕捉了受试者间、会话间及姿势间的变异性。
• 解决基于sEMG的人机交互（HMI）系统中的可靠性问题，如运动伪影、姿势变异性以及传感器重新定位的影响。
• 探究训练集组成策略（如多姿势和多日训练）是否能提升深度学习模型在泛化性能上相对于经典机器学习基线模型的表现。
• 确定1D-CNN是否能在该具有挑战性的现实世界sEMG数据上，表现优于或至少匹配当前最先进的经典模型（如RBF核SVM）的性能。

提出的方法

• 在PyTorch中实现了一个1D-CNN架构，其灵感来源于在其他公开基准上表现良好的2D-CNN。
• 数据预处理包括对sEMG信号进行时间窗划分，并将数据集三等分为训练集、验证集和测试集。
• 训练策略基于训练集的组成：单会话、双姿势和多日（5天）训练。
• 模型采用随机梯度下降优化，使用小批量训练，交叉熵损失函数，L2正则化，批量归一化，ReLU激活函数，以及Dropout进行正则化。
• 通过D6–D8的保留测试集评估会话间和跨日泛化性能，性能指标为平均准确率及其标准误。
• 通过比较多日训练结果分析用户适应性，发现随时间推移，跨日执行差异逐渐减小。

实验结果

研究问题

• RQ1 1D-CNN能否在Unibo-INAIL sEMG数据集上实现具有竞争力的性能，该数据集涵盖了受试者间、会话间和手臂姿势间的高变异性？
• RQ2 与单姿势或单会话训练相比，多姿势训练是否能提升跨姿势的泛化能力？
• RQ3 多日训练（尤其是近期数据优先）是否能提升跨日泛化能力，并反映随时间推移的用户适应性？
• RQ4 1D-CNN的性能与RBF核SVM基线模型相比如何？后者是该数据集上当前最先进的方法。
• RQ5 观察到的1D-CNN与基线模型之间的性能差距，是由于预处理限制，还是Unibo-INAIL数据集本身固有的数据约束所致？

主要发现

• 多会话训练相比单会话训练获得了更高的会话间验证准确率，表明在不同会话间具有更好的泛化能力。
• 双姿势训练在姿势泛化方面表现最优，实现了81.2%的跨姿势测试准确率，标准差为7.3%。
• 五日多日训练是最优的时间泛化策略，实现了75.9%的跨日测试准确率，标准差为8.6%。
• 结果与RBF-SVM基线模型相当，验证准确率分别为83%（跨姿势）和77%（跨日），表明1D-CNN虽未超越基线，但具备竞争力。
• 多日训练结果揭示了用户适应性：随时间推移，手势执行的跨日差异减小，表明在训练中应优先使用近期数据。
• 1D-CNN实现了与经典模型相当的性能，使其成为未来研究的有力候选，尤其在结合更优预处理方法（如时间-频率分析以支持2D-CNN）后。