[论文解读] TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for Sign Language Translation

Dongxu Li, Chenchen Xu+5 more|arXiv (Cornell University)|Oct 12, 2020

Hand Gesture Recognition Systems参考文献 28被引用 73

一句话总结

TSPNet 通过具有跨尺度与同尺度注意力的时间语义金字塔，基于多尺度片段学习手语视频表征，从而在无 gloss 注释的情况下提升手语翻译。

ABSTRACT

Sign language translation (SLT) aims to interpret sign video sequences into text-based natural language sentences. Sign videos consist of continuous sequences of sign gestures with no clear boundaries in between. Existing SLT models usually represent sign visual features in a frame-wise manner so as to avoid needing to explicitly segmenting the videos into isolated signs. However, these methods neglect the temporal information of signs and lead to substantial ambiguity in translation. In this paper, we explore the temporal semantic structures of signvideos to learn more discriminative features. To this end, we first present a novel sign video segment representation which takes into account multiple temporal granularities, thus alleviating the need for accurate video segmentation. Taking advantage of the proposed segment representation, we develop a novel hierarchical sign video feature learning method via a temporal semantic pyramid network, called TSPNet. Specifically, TSPNet introduces an inter-scale attention to evaluate and enhance local semantic consistency of sign segments and an intra-scale attention to resolve semantic ambiguity by using non-local video context. Experiments show that our TSPNet outperforms the state-of-the-art with significant improvements on the BLEU score (from 9.58 to 13.41) and ROUGE score (from 31.80 to 34.96)on the largest commonly-used SLT dataset. Our implementation is available at https://github.com/verashira/TSPNet.

研究动机与目标

• 通过利用手语视频中的时间结构，减少对高成本 gloss 注释在SLT中的依赖。
• 开发多尺度片段表示，以捕捉短期和长期的时间语义。
• 提出带有跨尺度注意力的分层特征学习，以实现局部语义一致性，以及同尺度注意力以实现非局部上下文。
• 实现局部与非局部视频语义的联合学习，以缓解分割噪声与歧义。

提出的方法

• 使用窗口宽度（例如 8、12、16 帧）和滑动步长创建多尺度手语视频片段。
• 在 WSLR 数据集上使用微调的 I3D 主干提取片段特征。
• 引入共享位置嵌入来编码跨尺度的片段位置。
• 通过对枢轴片段及其更大尺度的邻居进行跨尺度注意力，强制实现局部语义一致性。
• 利用对丰富化的枢轴特征进行同尺度自注意力来解决局部歧义。
• 可选地，通过将周围邻域扩展为包含所有枢轴（扩展的周围邻域），实现局部和非局部语义的联合学习。
• 使用 Transformer 解码器从编码器输出生成翻译。

实验结果

研究问题

• RQ1 多尺度手语视频片段是否能在 SLT 上优于逐帧特征？
• RQ2 跨尺度注意力是否在尺度之间提升局部语义一致性，同尺度自注意力是否利用非局部上下文以减少分割歧义？
• RQ3 局部与非局部语义的联合学习是否相比顺序注意力进一步提升翻译质量？
• RQ4 与没有 gloss 注释的先前自举模型相比，TSPNet 在 RPWT 数据集上的表现如何？

主要发现

方法	宽度(帧)	ROUGE-L	BLEU-1	BLEU-2	BLEU-3	BLEU-4
Conv2d-RNN [2]	{1}	29.70	27.10	15.61	10.82	8.35
+ Luong Attn. [2] + [18]	{1}	30.70	29.86	17.52	11.96	9.00
+ Bahdanau Attn. [2] + [17]	{1}	31.80	32.24	19.03	12.83	9.58
TSPNet-Single (Transformer)	{8}	28.93	30.29	17.75	12.35	9.41
TSPNet-Single	{12}	28.10	29.02	17.03	12.08	9.39
TSPNet-Single	{16}	32.36	32.52	20.33	14.75	11.61
TSPNet-Sequential	{8,12,16}	34.77	35.65	22.80	16.60	12.97
TSPNet-Joint	{8,12,16}	34.96	36.10	23.12	16.88	13.41

• TSPNet-Joint 在 RPWT 上达到最佳翻译分数，ROUGE-L 34.96 与 BLEU-4 13.41。
• 多尺度（8、12、16）片段优于单尺度方法，BLEU-4 与 ROUGE-L 提升。
• 跨尺度注意力通过聚合多尺度片段提升局部语义一致性。
• 同尺度自注意力增强非局部句子上下文，以解决局部手势歧义。
• 联合局部与非局部学习（TSPNet-Joint）优于顺序聚合（TSPNet-Sequential）。
• 相比 Conv2d-RNN，TSPNet 的变体在 BLEU-4（13.41 对 9.58）和 ROUGE-L（34.96 对 31.80）上有显著提升。
• 对 TSPNet-Joint 的训练大约需要在单块 NVIDIA V100 GPU 上约两小时（不包括特征提取）。