[论文解读] Transferring Cross-domain Knowledge for Video Sign Language Recognition

Dongxu Li, Xin Yu+3 more|arXiv (Cornell University)|Mar 8, 2020

Hand Gesture Recognition Systems参考文献 38被引用 19

一句话总结

本文提出了一种跨域知识迁移方法，通过利用弱标签化的字幕签名新闻视频，提升了词级手语识别（WSLR）的性能。通过联合分类器训练实现孤立手语与新闻手语域的粗粒度对齐，并利用原型记忆学习域不变特征表示，模型增强了特征表示能力，在WLASL上实现了12%的准确率提升，在自动签名定位任务中达到28.1 AP@0.5，表现达到当前最先进水平。

ABSTRACT

Word-level sign language recognition (WSLR) is a fundamental task in sign language interpretation. It requires models to recognize isolated sign words from videos. However, annotating WSLR data needs expert knowledge, thus limiting WSLR dataset acquisition. On the contrary, there are abundant subtitled sign news videos on the internet. Since these videos have no word-level annotation and exhibit a large domain gap from isolated signs, they cannot be directly used for training WSLR models. We observe that despite the existence of a large domain gap, isolated and news signs share the same visual concepts, such as hand gestures and body movements. Motivated by this observation, we propose a novel method that learns domain-invariant visual concepts and fertilizes WSLR models by transferring knowledge of subtitled news sign to them. To this end, we extract news signs using a base WSLR model, and then design a classifier jointly trained on news and isolated signs to coarsely align these two domain features. In order to learn domain-invariant features within each class and suppress domain-specific features, our method further resorts to an external memory to store the class centroids of the aligned news signs. We then design a temporal attention based on the learnt descriptor to improve recognition performance. Experimental results on standard WSLR datasets show that our method outperforms previous state-of-the-art methods significantly. We also demonstrate the effectiveness of our method on automatically localizing signs from sign news, achieving 28.1 for AP@0.5.

研究动机与目标

• 为解决标注的词级手语识别（WSLR）数据集稀缺问题，该问题因专家标注成本高而限制了模型性能。
• 利用大量但弱标签化的字幕签名新闻视频，这些视频因域差距和噪声标注而未被充分利用。
• 通过从新闻手语视频向孤立手语识别模型迁移知识，提升WSLR识别准确率。
• 通过弱监督学习实现句子中签名词的自动时间定位。

提出的方法

• 使用基础WSLR模型通过滑动窗口推理从新闻视频中提取签名词。
• 在孤立手语和新闻手语特征上联合训练分类器，以在嵌入空间中粗粒度对齐两个域。
• 原型记忆存储粗粒度对齐后的新闻手语特征的类别中心，以学习域不变特征表示。
• 对于每个孤立签名，模型计算其与记忆原型的相关性，并将相似特征组合以形成域不变特征表示。
• 通过记忆增强的时间注意力模块突出显示与类别相关的视觉特征，同时抑制跨类别的通用手势。
• 最终模型利用这些优化后的特征进行分类，并通过交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 尽管存在域差距，能否有效利用网络上可获取的弱标签化、可公开访问的签名新闻视频来提升WSLR性能？
• RQ2 如何从共享视觉概念但手势速度和标注质量不同的孤立签名与新闻签名中学习域不变特征？
• RQ3 通过原型记忆引入新闻签名原型知识，是否能提升识别准确率和定位性能？
• RQ4 所提方法是否能在不依赖强标签的情况下，在标准WSLR基准上实现最先进性能？

主要发现

• 与最先进方法相比，该方法在WLASL数据集上的top-1准确率实现了12%的绝对提升。
• 在MSASL数据集上，该方法相比之前最先进模型将识别准确率提升了6%。
• 模型在句子中自动签名词定位任务上达到28.1 mAP@0.5，展示了在弱监督时间定位任务中的强大性能。
• 消融实验表明，粗粒度域对齐以及在原型记忆中使用新闻签名原型是性能提升的关键因素。
• 仅使用孤立签名原型或对两个域的特征进行平均会导致性能下降，原因在于聚类效果不佳和中心点噪声较大。