[论文解读] SLGTformer: An Attention-Based Approach to Sign Language Recognition

Neil Song, Xiang Yu|arXiv (Cornell University)|Dec 21, 2022

Hand Gesture Recognition Systems被引用 4

一句话总结

SLGTformer 提出了一种新颖的、非集成的、基于注意力机制的 Transformer 模型，用于使用人体骨骼关键点序列进行手语识别。它结合了可学习图相对位置编码（LGRPE）以实现空间建模，以及时间双注意力机制（TTSA）以实现高效长程与短程时间依赖建模，在无需集成的情况下于 WLASL2000 数据集上实现了最先进性能。

ABSTRACT

Sign language is the preferred method of communication of deaf or mute people, but similar to any language, it is difficult to learn and represents a significant barrier for those who are hard of hearing or unable to speak. A person's entire frontal appearance dictates and conveys specific meaning. However, this frontal appearance can be quantified as a temporal sequence of human body pose, leading to Sign Language Recognition through the learning of spatiotemporal dynamics of skeleton keypoints. We propose a novel, attention-based approach to Sign Language Recognition exclusively built upon decoupled graph and temporal self-attention: the Sign Language Graph Time Transformer (SLGTformer). SLGTformer first deconstructs spatiotemporal pose sequences separately into spatial graphs and temporal windows. SLGTformer then leverages novel Learnable Graph Relative Positional Encodings (LGRPE) to guide spatial self-attention with the graph neighborhood context of the human skeleton. By modeling the temporal dimension as intra- and inter-window dynamics, we introduce Temporal Twin Self-Attention (TTSA) as the combination of locally-grouped temporal attention (LTA) and global sub-sampled temporal attention (GSTA). We demonstrate the effectiveness of SLGTformer on the World-Level American Sign Language (WLASL) dataset, achieving state-of-the-art performance with an ensemble-free approach on the keypoint modality. The code is available at https://github.com/neilsong/slt

研究动机与目标

• 开发一种鲁棒的、基于注意力机制的 Transformer 框架，用于使用骨骼关键点序列进行孤立手语识别。
• 通过引入可学习图相对位置编码（LGRPE）来整合图邻域上下文，以改善空间建模。
• 通过结合局部与全局注意力机制，提升时间建模效率，实现对长程与短程依赖关系的有效学习。
• 在无需依赖模型集成或 RGB 模态的前提下，实现在 WLASL2000 数据集上的最先进性能。
• 通过改进的注意力机制，解决基于关键点的手语识别中的局限性，如遮挡和不同执行者之间的差异性。

提出的方法

• SLGTformer 通过将空间图与时间窗口解耦，对时空关键点序列进行独立的注意力计算。
• 引入可学习图相对位置编码（LGRPE），将结构化邻域上下文注入空间自注意力机制，提升节点级别的表征学习能力。
• 时间双注意力机制（TTSA）结合了局部分组时间注意力（LTA）以捕捉短程动态，以及全局下采样时间注意力（GSTA）以建模长程依赖。
• LGRPE 在自注意力之前应用，利用图拓扑结构引导空间注意力；而注意力后处理的图卷积则进一步优化节点表征。
• 模型使用预训练的全身姿态估计器（基于 HRNet 的 MMPose）从 RGB 视频中提取 27 个节点的 2D 关键点序列，并应用归一化与数据增强。
• 通过使用窗口化和下采样注意力机制，降低模型复杂度，避免传统自注意力机制的二次方计算开销。

实验结果

研究问题

• RQ1 基于注意力机制的架构能否仅使用关键点序列就在孤立手语识别任务中实现最先进性能？
• RQ2 可学习图相对位置编码（LGRPE）在提升人体骨骼图空间建模方面有多有效？
• RQ3 局部与全局时间注意力（TTSA）的结合是否优于标准自注意力机制，以同时捕捉短程与长程时间动态？
• RQ4 非集成的、仅基于关键点的模型能否在 WLASL2000 基准上超越现有的集成方法或基于 RGB 的方法？
• RQ5 数据增强与关键点归一化对模型在不同执行者与手语风格下的泛化能力有何影响？

主要发现

• SLGTformer 在 WLASL2000 数据集上实现了非集成方法中的最高 top-1 与 top-5 准确率，为仅使用关键点的模型树立了新的最先进水平。
• 消融实验证实，TTSA 显著提升了性能，有效建模了局部与长程时间依赖关系。
• 与标准位置编码相比，LGRPE 显著提升了性能，证明了图结构化相对位置信息的价值。
• 注意力后处理的图卷积进一步提升了性能，尤其在建模节点自连接与空间上下文方面表现突出。
• 与标准自注意力相比，该模型在空间与时间两个维度上均表现更优，表明所提架构组件的有效性。
• 尽管依赖于预训练的姿态估计器，模型在不同执行者与手语变体中仍表现出良好的泛化能力，但遮挡与手指级精度不足仍是待解决的挑战。