[论文解读] Self-Emphasizing Network for Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao+2 more|arXiv (Cornell University)|Nov 30, 2022

Hand Gesture Recognition Systems被引用 11

一句话总结

本文提出了一种自增强网络（SEN），用于连续手语识别，该网络通过自适应地突出显示判别性空间特征（手部和面部）与时间特征（关键帧），在不依赖昂贵监督或复杂姿态估计网络的前提下，实现了优异性能。通过使用轻量级子网络和可学习的注意力图，SEN在四个大规模数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

Hand and face play an important role in expressing sign language. Their features are usually especially leveraged to improve system performance. However, to effectively extract visual representations and capture trajectories for hands and face, previous methods always come at high computations with increased training complexity. They usually employ extra heavy pose-estimation networks to locate human body keypoints or rely on additional pre-extracted heatmaps for supervision. To relieve this problem, we propose a self-emphasizing network (SEN) to emphasize informative spatial regions in a self-motivated way, with few extra computations and without additional expensive supervision. Specifically, SEN first employs a lightweight subnetwork to incorporate local spatial-temporal features to identify informative regions, and then dynamically augment original features via attention maps. It's also observed that not all frames contribute equally to recognition. We present a temporal self-emphasizing module to adaptively emphasize those discriminative frames and suppress redundant ones. A comprehensive comparison with previous methods equipped with hand and face features demonstrates the superiority of our method, even though they always require huge computations and rely on expensive extra supervision. Remarkably, with few extra computations, SEN achieves new state-of-the-art accuracy on four large-scale datasets, PHOENIX14, PHOENIX14-T, CSL-Daily, and CSL. Visualizations verify the effects of SEN on emphasizing informative spatial and temporal features. Code is available at https://github.com/hulianyuyy/SEN_CSLR

研究动机与目标

• 解决现有手语识别方法在使用手部和面部特征时存在的高计算成本及对昂贵监督的依赖问题。
• 实现在无外部监督条件下，自动、自主地对信息丰富的空间区域（手部和面部）及判别性时间帧进行强调。
• 在降低模型复杂度和训练开销的同时，提升连续手语识别的识别准确率。
• 证明有效的特征强调可通过端到端可学习的注意力机制实现，而非依赖外部姿态估计或预提取的热力图。

提出的方法

• SEN 使用轻量级子网络提取局部时空特征，并生成动态强调或抑制输入特征的注意力图。
• 空间自增强模块通过可学习注意力机制识别手部和面部等关键区域，增强相关视觉线索，而无需额外监督。
• 时间自增强模块自适应地为具有显著运动的帧分配更高权重，为静态或冗余帧分配更低权重。
• 该方法将空间与时间注意力模块整合到统一的、端到端可训练框架中，采用标准主干网络（如 ResNet18）。
• 注意力图在训练过程中自动学习，无需真实热力图或关键点标注，从而实现自监督的特征强调。
• 该架构设计计算高效，相比使用外部姿态估计网络的方法，仅增加极少的参数量和浮点运算量（FLOPs）。

实验结果

研究问题

• RQ1 自监督注意力机制能否在不依赖外部监督的情况下，有效强调手语视频中有信息量的空间区域（如手部和面部）？
• RQ2 可学习的时间注意力模块能否通过聚焦于判别性帧并抑制冗余帧来提升识别性能？
• RQ3 轻量级、端到端可训练的网络能否超越依赖重型姿态估计网络或预提取热力图的现有最先进方法？
• RQ4 所提出的自增强机制是否能在多样且大规模的连续手语数据集上实现良好泛化？

主要发现

• 在 PHOENIX14 数据集上，SEN 实现了 19.5% 的新最先进词错误率（WER），优于使用额外监督或重型姿态网络的方法。
• 在具有挑战性的 CSL-Daily 数据集上，SEN 实现了 30.7% 的 WER，显著优于先前方法，创下新 SOTA 记录。
• 在 CSL 数据集上，SEN 实现了 0.8% 的 WER，超越了此前 SOTA 方法报告的 0.9%。
• 可视化结果证实，SEN 有效突出了手部和面部区域，并聚焦于具有动态运动的帧，表明其能够学习有意义的注意力模式。
• 尽管仅使用标准视频帧且无额外监督，SEN 的性能仍优于依赖预提取热力图或专用姿态估计网络的方法。