[论文解读] Multi-View Spatial-Temporal Network for Continuous Sign Language Recognition

Ronghui Li, Lu Meng|arXiv (Cornell University)|Apr 19, 2022

Hand Gesture Recognition Systems被引用 8

一句话总结

本文提出了一种用于连续手语识别的多视角时空网络（MSTCSLRN），通过新型注意力增强多尺度3D图卷积网络（AM3D-GCN）和基于Transformer的编码器，融合RGB与骨骼模态，以建模长距离依赖关系。该方法在SLR-100数据集上实现了1.9%的词错误率（WER），在RWTH-PHOENIX-Weather数据集上实现了22.8%的WER，优于两个基准上的最先进方法。

ABSTRACT

Sign language is a beautiful visual language and is also the primary language used by speaking and hearing-impaired people. However, sign language has many complex expressions, which are difficult for the public to understand and master. Sign language recognition algorithms will significantly facilitate communication between hearing-impaired people and normal people. Traditional continuous sign language recognition often uses a sequence learning method based on Convolutional Neural Network (CNN) and Long Short-Term Memory Network (LSTM). These methods can only learn spatial and temporal features separately, which cannot learn the complex spatial-temporal features of sign language. LSTM is also difficult to learn long-term dependencies. To alleviate these problems, this paper proposes a multi-view spatial-temporal continuous sign language recognition network. The network consists of three parts. The first part is a Multi-View Spatial-Temporal Feature Extractor Network (MSTN), which can directly extract the spatial-temporal features of RGB and skeleton data; the second is a sign language encoder network based on Transformer, which can learn long-term dependencies; the third is a Connectionist Temporal Classification (CTC) decoder network, which is used to predict the whole meaning of the continuous sign language. Our algorithm is tested on two public sign language datasets SLR-100 and PHOENIX-Weather 2014T (RWTH). As a result, our method achieves excellent performance on both datasets. The word error rate on the SLR-100 dataset is 1.9%, and the word error rate on the RWTHPHOENIX-Weather dataset is 22.8%.

研究动机与目标

• 解决连续手语序列中无明确词边界所带来的识别挑战，需要弱监督的端到端序列建模。
• 克服传统CNN-LSTM模型分别学习空间与时间特征的局限性，并解决其在长期依赖建模上的困难。
• 通过融合RGB视频帧与骨骼关键点数据的互补信息，提升识别鲁棒性。
• 设计一种能够联合建模两种模态时空动态的特征提取网络，以增强表征学习。
• 通过集成多模态学习与注意力机制，在公开的连续手语数据集上实现最先进性能。

提出的方法

• 采用滑动窗口策略将长手语序列分割为较短片段，以更有效地学习时空特征。
• 使用视觉Transformer（ViT）从RGB视频片段中提取时空特征，捕捉全局运动与外观模式。
• 设计一种注意力增强多尺度3D图卷积网络（AM3D-GCN），用于建模骨骼序列中关节坐标及其随时间的关系。
• 在AM3D-GCN中引入多尺度感受野，以捕捉远距离关节间的长程依赖关系，提升结构建模能力。
• 在AM3D-GCN中应用时空注意力机制，抑制来自不准确关键点预测的噪声，增强鲁棒性。
• 利用基于Transformer的编码器建模手语序列中的长程时间依赖关系，克服RNN在长序列中的局限性。
• 采用连接时序分类（CTC）解码器，从编码特征中预测最终的手语词序列。

实验结果

研究问题

• RQ1 联合建模RGB与骨骼模态是否能提升连续手语识别的性能？
• RQ2 与标准2D或3D-GCN相比，多尺度3D-GCN架构是否能更好地建模身体关节间的时空关系？
• RQ3 在特征提取器中引入时空注意力，能在多大程度上降低对噪声关键点预测的敏感性？
• RQ4 基于Transformer的编码器是否能优于基于RNN的编码器，更好地捕捉连续手语序列中的长程依赖关系？
• RQ5 所提出的多视角时空网络在SLR-100与RWTH-PHOENIX-Weather等标准基准上的表现，与最先进方法相比如何？

主要发现

• 所提方法在SLR-100数据集上实现了1.9%的词错误率（WER），在所有对比方法中排名第一。
• 在RWTH-PHOENIX-Weather数据集上，该方法实现了22.8%的WER，排名第二，尽管图像质量较低，仍表现出强大的泛化能力。
• 融合RGB与骨骼数据后，WER从仅使用RGB时的3.2%和仅使用骨骼时的2.1%降低至1.9%（多模态融合），证实了互补模态学习的有效性。
• 消融实验表明，采用具有多尺度与时空注意力的3D-GCN，将WER从仅使用2D-GCN时的3.6%降低至2.1%，证明了AM3D-GCN设计的有效性。
• 基于Transformer的编码器显著提升了长序列建模能力，在捕捉数百帧以上的依赖关系方面优于基于RNN的替代方案。
• AM3D-GCN采用多尺度架构时表现最佳（WER = 2.1%），凸显了建模远距离关节关系的重要性。