[论文解读] Transfer Learning for British Sign Language Modelling

Boris Mocialov, Graham Turner+1 more|arXiv (Cornell University)|Jun 3, 2020

Hand Gesture Recognition Systems参考文献 35被引用 8

一句话总结

本文提出使用迁移学习来改进基于预训练英语语言模型的英国手语（BSL）词素语言建模，通过微调和层替换实现更低的困惑度。尽管句法存在差异，但在宾州大学树库上预训练并在BSL数据上微调的模型，其性能优于直接训练的模型，证明了迁移学习在低资源手语中的可行性。

ABSTRACT

Automatic speech recognition and spoken dialogue systems have made great advances through the use of deep machine learning methods. This is partly due to greater computing power but also through the large amount of data available in common languages, such as English. Conversely, research in minority languages, including sign languages, is hampered by the severe lack of data. This has led to work on transfer learning methods, whereby a model developed for one language is reused as the starting point for a model on a second language, which is less resourced. In this paper, we examine two transfer learning techniques of fine-tuning and layer substitution for language modelling of British Sign Language. Our results show improvement in perplexity when using transfer learning with standard stacked LSTM models, trained initially using a large corpus for standard English from the Penn Treebank corpus

研究动机与目标

• 解决手语建模中的数据稀缺问题，特别是针对缺乏大规模标注语料库的英国手语（BSL）。
• 探究是否可从高资源语言（如英语）迁移学习以提升低资源手语的语言建模性能。
• 评估两种迁移学习技术——微调与层替换——在BSL词素序列上的有效性，以确定其在降低困惑度方面的表现。
• 评估使用初始在英语文本上训练的预训练神经语言模型，用于手语转录（词素层面）的可行性。
• 探索迁移学习在弥合口语与手语处理差距方面的潜力，从而为聋人社区提供更易访问的人机交互方式。

提出的方法

• 在宾州大学树库（PTB）数据集（一个大型英语文本语料库）上预训练深度神经网络语言模型，以学习通用语言模式。
• 通过使用BSL训练数据更新所有模型权重，对预训练模型在单语BSL词素语料库上进行微调。
• 通过将预训练模型的最后层替换为新随机初始化的层，并仅微调新层而冻结其余网络权重，实现层替换。
• 在预训练和微调阶段均采用堆叠的长短期记忆网络（LSTM）与前馈神经网络（FFNN）架构。
• 使用困惑度作为主要评估指标，比较迁移学习模型与直接训练模型在BSL测试集上的性能。
• 通过使用类似HamNoSys的记法将视频标注的手势转换为词素序列，对BSL语料进行预处理，确保与现有手语转录标准的一致性。

实验结果

研究问题

• RQ1 是否可从英语等高资源语言迁移学习，以提升英国手语等低资源手语的语言建模性能？
• RQ2 在BSL词素序列上，微调与层替换在困惑度降低和收敛速度方面如何比较？
• RQ3 尽管存在句法和结构差异，预训练英语文本在多大程度上能缓解BSL语言建模中的数据稀缺问题？
• RQ4 与从随机初始化训练相比，使用预训练模型是否能提升在BSL测试数据上的泛化能力？
• RQ5 专为文本NLP设计的迁移学习技术是否可有效适配于建模手语词素的序列结构？

主要发现

• 迁移学习显著降低了BSL测试集上的困惑度：微调后的LSTM模型困惑度为125.32，而直接在BSL上训练的模型为274.03。
• 微调后的FFNN模型困惑度为123.92，优于直接训练的模型（258.10），表明迁移学习在前馈架构中同样有效。
• 层替换也取得了具有竞争力的结果，LSTM模型的困惑度为121.46，表明冻结大部分权重仅微调最后一层，可作为全量微调的高效替代方案。
• 尽管英语与BSL在句法上存在差异，但预训练英语模型的词汇覆盖度（在BSL上为12.71%的OOV）仍能实现有意义的迁移，表明在词素层面上存在共享的词汇与句法模式。
• 结果低于英语语言模型的最先进基准，可能由于训练周期有限（100轮）且缺乏高级正则化技术，表明通过进一步优化仍有提升空间。
• 本研究证明，即使源语言与目标语言在结构上差异显著，迁移学习仍是低资源手语的可行方法，为未来手语NLP研究开辟了新路径。