[论文解读] Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information

Mizuki Maruyama, Singh, Shrey+4 more|arXiv (Cornell University)|Jun 30, 2021

Hand Gesture Recognition Systems参考文献 43被引用 6

一句话总结

本文提出了一种用于词级手语识别（WSLR）的多流神经网络（MSNN），通过整合局部区域图像（手部和面部）与骨骼数据，提升基于I3D的模型，以捕捉细微手势和空间关系。该方法通过在推理阶段对分类分数进行晚期平均，融合全局、局部和骨骼流，在WLASL数据集上相比先前最先进方法实现了15%的Top-1准确率提升。

ABSTRACT

Word-level sign language recognition (WSLR) has attracted attention because it is expected to overcome the communication barrier between people with speech impairment and those who can hear. In the WSLR problem, a method designed for action recognition has achieved the state-of-the-art accuracy. Indeed, it sounds reasonable for an action recognition method to perform well on WSLR because sign language is regarded as an action. However, a careful evaluation of the tasks reveals that the tasks of action recognition and WSLR are inherently different. Hence, in this paper, we propose a novel WSLR method that takes into account information specifically useful for the WSLR problem. We realize it as a multi-stream neural network (MSNN), which consist of three streams: 1) base stream, 2) local image stream, and 3) skeleton stream. Each stream is designed to handle different types of information. The base stream deals with quick and detailed movements of the hands and body, the local image stream focuses on handshapes and facial expressions, and the skeleton stream captures the relative positions of the body and both hands. This approach allows us to combine various types of data for more comprehensive gesture analysis. Experimental results on the WLASL and MS-ASL datasets show the effectiveness of the proposed method; it achieved an improvement of approximately 10\%--15\% in Top-1 accuracy when compared with conventional methods.

研究动机与目标

• 通过引入超越全局外观特征的局部视觉与空间骨骼信息，提升词级手语识别（WSLR）的准确率。
• 解决I3D网络在捕捉手语手势中细微手部形状、面部表情及手-体空间关系方面的局限性。
• 设计一种可扩展的多流深度学习框架，融合全局、局部与骨骼表征，以提升WSLR性能。
• 在多个数据集（包括WLASL与MS-ASL）上验证所提方法的有效性与泛化能力。
• 识别WSLR中与手势模糊性与变异性相关的关键挑战，并为未来具备更强判别能力的模型奠定基础。

提出的方法

• 所提出的MSNN框架由三个独立流组成：基础流（全局外观与光流）、局部图像流（手部与面部区域裁剪）和骨骼流（3D姿态数据上的时空图卷积）。
• 基础流使用I3D从全帧RGB与光流输入中提取时空特征。
• 局部图像流对裁剪的手部与面部视频片段应用I3D，以突出强调手部形状与面部表情等局部手势细节。
• 骨骼流采用ST-GCN对身体关节与双手之间的位置关系进行建模，降低对背景与外观变化的敏感性。
• 各流独立训练，推理阶段通过平均三个流的分类分数获得最终预测结果。
• 该框架在WLASL与MS-ASL数据集上进行评估，并通过消融实验验证各流的贡献。

实验结果

研究问题

• RQ1 整合局部区域图像（手部与面部）与骨骼数据是否能超越全局外观特征，提升词级手语识别性能？
• RQ2 在大规模WSLR数据集上，所提出的多流架构相较于单流I3D基线方法，在Top-1准确率方面表现如何？
• RQ3 在手势模糊或多变的情况下，局部视觉与骨骼流对识别性能的独立贡献程度如何？
• RQ4 该方法在不同数据集规模与词汇量规模下是否保持高性能与可扩展性？
• RQ5 鉴于其模块化与多模态设计，该框架是否能泛化至除美国手语以外的其他手语？

主要发现

• 所提出的MSNN在WLASL100上达到81.38%的Top-1准确率，在WLASL300上为73.43%，在WLASL1000上为63.61%，在WLASL2000上为47.26%，相比基线I3D方法提升约15%。
• 消融实验确认，局部图像流与骨骼流均显著提升了性能，完整三流模型优于任一单流或双流变体。
• 在MS-ASL数据集上，该方法达到83.86%的Top-1准确率，证明其在WLASL基准之外的泛化能力。
• 尽管性能有所提升，但随着词汇量增大，识别准确率显著下降（如WLASL2000上为47.26%），表明每类数据稀缺仍是关键挑战。
• 在所有WLASL子集上均保持约15%的稳定提升，表明额外流有效缓解了因数据集规模与复杂性增加导致的性能退化。
• 结果证实，局部与空间信息对于区分具有相似动作但不同手部形状或表情的手语至关重要。