[论文解读] PiSLTRc: Position-informed Sign Language Transformer with Content-aware Convolution

Pan Xie, Mengyi Zhao+1 more|arXiv (Cornell University)|Jul 27, 2021

Hand Gesture Recognition Systems参考文献 50被引用 4

一句话总结

该论文提出 PiSLTRc，一种用于手语的 Transformer 模型，通过内容感知和位置感知的卷积增强手语表征，并将相对位置编码注入自注意力机制。通过动态选择语义相似的邻近帧并使用位置感知卷积进行聚合，同时采用解耦的相对位置编码，PiSLTRc 在手语翻译基准上实现了最先进性能，BLEU 分数提升 +1.6。

ABSTRACT

Since the superiority of Transformer in learning long-term dependency, the sign language Transformer model achieves remarkable progress in Sign Language Recognition (SLR) and Translation (SLT). However, there are several issues with the Transformer that prevent it from better sign language understanding. The first issue is that the self-attention mechanism learns sign video representation in a frame-wise manner, neglecting the temporal semantic structure of sign gestures. Secondly, the attention mechanism with absolute position encoding is direction and distance unaware, thus limiting its ability. To address these issues, we propose a new model architecture, namely PiSLTRc, with two distinctive characteristics: (i) content-aware and position-aware convolution layers. Specifically, we explicitly select relevant features using a novel content-aware neighborhood gathering method. Then we aggregate these features with position-informed temporal convolution layers, thus generating robust neighborhood-enhanced sign representation. (ii) injecting the relative position information to the attention mechanism in the encoder, decoder, and even encoder-decoder cross attention. Compared with the vanilla Transformer model, our model performs consistently better on three large-scale sign language benchmarks: PHOENIX-2014, PHOENIX-2014-T and CSL. Furthermore, extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on translation quality with $+1.6$ BLEU improvements.

研究动机与目标

• 为解决原始 Transformer 在捕捉手语手势时间语义结构方面因帧级注意力而存在的局限性。
• 克服手语建模中绝对位置编码对方向和距离不敏感的缺陷。
• 通过整合内容感知邻域聚合与位置感知卷积，提升手语识别与翻译性能。
• 将相对位置信息注入编码器、解码器及交叉注意力机制，以实现更优的序列建模。
• 在保持强大识别质量的同时，实现手语翻译的最先进性能。

提出的方法

• 提出一种内容感知邻域聚合方法，基于语义相似性动态选择邻近帧，以增强局部手势表征。
• 引入位置感知的时间卷积层，在使用相对位置编码的同时保留位置上下文，聚合选定特征。
• 采用解耦相对位置编码（DRPE），将方向与距离感知注入编码器、解码器及交叉注意力机制中的自注意力模块。
• 设计统一框架 PiSLTRc，通过共享特征学习联合执行手语识别与翻译。
• 采用 CNN-LSTM-HMM 主干网络进行特征提取，随后接入所提出的 CPTcn 模块与 DRPE 增强的 Transformer 块。
• 采用多任务损失端到端训练模型，联合优化识别（词素）与翻译（文本）目标。

Figure 1: The overview of our sign language Transformer model equipped with Content-aware and Position-aware Temporal Convolution (CPTcn) and Disentangled Relative Position Encoding (DRPE).

实验结果

研究问题

• RQ1 通过利用时间语义一致性，内容感知邻域聚合能否提升手语表征？
• RQ2 引入位置感知卷积能否增强手语手势表征的鲁棒性？
• RQ3 在自注意力机制中引入相对位置编码，能否使手语建模超越绝对位置编码？
• RQ4 联合学习手语识别与翻译是否优于独立训练？
• RQ5 所提方法能否在大规模手语基准上实现最先进结果？

主要发现

• 在 PHOENIX-2014-T 数据集上，PiSLTRc 相较于原始 SLTR 模型 BLEU 分数提升 +1.6，证明其翻译质量更优。
• 在 PHOENIX-2014 手语转词素任务中，PiSLTRc-R 在开发集上优于原始 SLTR-R 12%，在测试集上优于 7%。
• 在 CSL 数据集上，PiSLTRc-R 在测试集上相较 SLTR-R 提升 24%，表明其对多样化手语具有强大泛化能力。
• 在手语转文本任务中，PiSLTRc-T 相较于原始 SLTR-T 模型在 BLEU-4 分数上分别提升 3.8% 和 5.6%，证实所提组件的有效性。
• 消融实验表明，内容感知邻域聚合与相对位置编码均对性能提升有显著贡献。
• 该模型在三个评估基准（PHOENIX-2014、PHOENIX-2014-T 和 CSL）上，于识别与翻译任务中均达到最先进性能。

Figure 2: Vanilla self-attention and self-attention equipped with Content-aware and Position-aware Temporal Convolution (CPTcn). Where neighborhood gathering denotes selecting adjacent relevant features in a contiguous local region, TCNs denote stacked temporal convolution layers.