[论文解读] Synchronous Bidirectional Learning for Multilingual Lip Reading

Mingshuang Luo, Shuang Yang+3 more|arXiv (Cornell University)|May 8, 2020

Speech and Audio Processing参考文献 24被引用 5

一句话总结

该论文提出了一种用于多语言唇读的同步双向学习（SBL）框架，使用音素作为共享建模单元，以利用唇部动作中的跨语言视觉模式。通过训练统一模型，从双向上下文预测缺失音素并联合预测语言身份，该方法在LRW（87.32%）和LRW-1000（56.85%）上实现了最先进性能，证明了协同多语言学习带来的显著提升。

ABSTRACT

Lip reading has received increasing attention in recent years. This paper focuses on the synergy of multilingual lip reading. There are about as many as 7000 languages in the world, which implies that it is impractical to train separate lip reading models with large-scale data for each language. Although each language has its own linguistic and pronunciation rules, the lip movements of all languages share similar patterns due to the common structures of human organs. Based on this idea, we try to explore the synergized learning of multilingual lip reading in this paper, and further propose a synchronous bidirectional learning (SBL) framework for effective synergy of multilingual lip reading. We firstly introduce phonemes as our modeling units for the multilingual setting here. Phonemes are more closely related with the lip movements than the alphabet letters. At the same time, similar phonemes always lead to similar visual patterns no matter which type the target language is. Then, a novel SBL block is proposed to learn the rules for each language in a fill-in-the-blank way. Specifically, the model has to learn to infer the target unit given its bidirectional context, which could represent the composition rules of phonemes for each language. To make the learning process more targeted at each particular language, an extra task of predicting the language identity is introduced in the learning process. Finally, a thorough comparison on LRW (English) and LRW-1000 (Mandarin) is performed, which shows the promising benefits from the synergized learning of different languages and also reports a new state-of-the-art result on both datasets.

研究动机与目标

• 探索将多语言唇读作为一个新问题，利用人类发音解剖结构带来的跨语言视觉模式相似性。
• 通过实现语言间的知识迁移，解决为全球约7,000种语言分别训练模型的不切实际问题。
• 通过统一框架同时学习多种语言的组合规则，提升唇读性能。
• 提出一种新颖的SBL模块，将双向上下文统一在一个模块中，增强多语言音素预测的序列建模能力。
• 验证联合语言身份预测在提升共享多语言架构中语言特异性学习能力方面的有效性。

提出的方法

• 使用音素作为建模单元，以弥合语言间的差异，因为音素比字母字符更直接对应视觉唇部动作。
• 引入一种新颖的同步双向学习（SBL）模块，以统一方式利用左右上下文预测缺失音素，替代两个独立的单向编码器。
• 将SBL模块集成到基于Transformer的解码器架构中，通过填空任务实现端到端的多语言组合规则学习。
• 在模型中增加一个辅助的语言身份预测头，使学习过程对每种特定语言更具针对性。
• 在英语（LRW）和普通话（LRW-1000）数据集上联合优化音素预测和语言分类任务进行训练。
• 在多种消融设置下评估框架，包括SBL-only、SBL-all和SBL-with-language-flag，以分析架构和辅助任务的影响。

实验结果

研究问题

• RQ1 通过利用唇部动作中的共享视觉模式，统一的唇读模型能否有效从多种语言中学习？
• RQ2 与独立的单向编码器相比，使用统一上下文编码器的同步双向学习在多语言唇读中是否表现更优？
• RQ3 联合预测语言身份是否能提升模型学习语言特异性组合规则的能力，同时不损害多语言性能？
• RQ4 在使用小规模多语言数据时，多语言预训练与单语言预训练相比，在性能增益方面如何？
• RQ5 与词或字符级建模相比，音素级建模作为多语言唇读中的跨语言桥梁，其贡献如何？

主要发现

• 所提出的SBL-All-Flag模型在英语LRW基准上实现了87.32%的新最先进准确率，显著超越先前方法。
• 在普通话LRW-1000数据集上，模型达到56.85%的准确率，比之前SOTA高出超过18个百分点。
• 即使仅应用第一个SBL模块（SBL-First），模型在LRW上仍达到85.26%的准确率，在LRW-1000上达到54.35%，证明了核心SBL机制的有效性。
• 引入语言身份预测头（SBL-All-Flag）带来了显著的性能提升，证实其在增强语言特异性学习中的关键作用。
• 该模型优于使用更大规模英语单语数据集（LRS2-BBC、LRS3-TED）进行预训练的方法，仅使用较小规模的普通话数据集（LRW-1000）即取得更优结果，支持了多语言训练的优势。
• 消融研究证实，SBL模块的统一双向建模优于独立的单向分支，且辅助语言预测任务对性能提升至关重要。