[论文解读] Multilingual End-to-End Speech Translation

Hirofumi Inaguma, Kevin Duh+2 more|arXiv (Cornell University)|Oct 1, 2019

Natural Language Processing Techniques参考文献 59被引用 5

一句话总结

该论文提出了一种使用通用序列到序列模型的多语言端到端语音翻译（E2E-ST）框架，可直接将多种源语言的语音翻译为多种目标语言，所有语言对共享全部参数。该方法在单对多和多对多翻译场景中均显著优于双语模型，且在Mboshi–法语等低资源语言对上展现出强大的零样本泛化能力。

ABSTRACT

In this paper, we propose a simple yet effective framework for multilingual end-to-end speech translation (ST), in which speech utterances in source languages are directly translated to the desired target languages with a universal sequence-to-sequence architecture. While multilingual models have shown to be useful for automatic speech recognition (ASR) and machine translation (MT), this is the first time they are applied to the end-to-end ST problem. We show the effectiveness of multilingual end-to-end ST in two scenarios: one-to-many and many-to-many translations with publicly available data. We experimentally confirm that multilingual end-to-end ST models significantly outperform bilingual ones in both scenarios. The generalization of multilingual training is also evaluated in a transfer learning scenario to a very low-resource language pair. All of our codes and the database are publicly available to encourage further research in this emergent multilingual ST topic.

研究动机与目标

• 为解决双语端到端语音翻译的局限性，通过在多种源语言和目标语言之间进行多语言训练，实现多语言端到端语音翻译。
• 通过在统一框架中直接将语音映射到目标文本，消除分离的自动语音识别（ASR）和机器翻译（MT）模块之间的误差传播。
• 通过多语言预训练和迁移学习，提升低资源环境下的性能和泛化能力。
• 提供一种统一且参数高效的架构，避免语言特定建模和复杂的流水线解码。
• 通过发布多语言E2E-ST的代码和数据，促进可复现的研究。

提出的方法

• 使用共享所有语言对编码器和解码器参数的通用序列到序列模型，实现多语言语音翻译数据的联合训练。
• 对源序列和目标序列均采用字符级分词，以缓解多语言设置下的数据稀疏性问题并避免词汇表爆炸。
• 采用端到端训练，联合优化语音到文本翻译任务，利用基于注意力机制的编码器-解码器架构。
• 通过迁移学习，从多语言预训练的E2E-ST模型初始化低资源模型（如Mboshi–法语），且在预训练阶段不使用Mboshi的转录文本。
• 采用共享编码器-解码器架构，支持零样本翻译和跨语言的参数共享，其设计灵感来自多语言神经机器翻译（NMT）和自动语音识别（ASR）方法。
• 在编码器中采用混合CTC/注意力损失，以提升对齐效果和训练稳定性，尤其在低资源场景下表现更优。

Fig. 1 : System overview for the multilingual end-to-end speech translation model

实验结果

研究问题

• RQ1 一个单一的通用序列到序列模型是否能有效实现多种源语言和目标语言对之间的多语言端到端语音翻译？
• RQ2 在单对多和多对多设置下，多语言E2E-ST与双语E2E-ST在翻译性能上相比如何？
• RQ3 多语言预训练在极低资源语言对（如Mboshi–法语）上的零样本迁移性能方面，能提升到何种程度？
• RQ4 与流水线系统相比，统一的E2E-ST模型中跨语言的参数共享是否能减少误差传播并提高鲁棒性？
• RQ5 该模型是否能在无需微调或事先了解目标语言字符的情况下，泛化到未见过的语言对？

主要发现

• 在单对多和多对多翻译场景中，多语言E2E-ST模型显著优于双语模型，Mboshi–法语低资源任务的BLEU分数从双语模型的4.55提升至6.92（O2M）。
• 单对多（O2M）多语言模型在Mboshi–法语测试集上取得了最高的BLEU分数6.92，优于多对多（M2Ma，6.52）和多对多字符级（M2Mc，5.50）配置。
• 与双语预训练相比，多语言预训练显著提升了Mboshi–法语语言对的零样本迁移性能，证明了其在未见低资源语言上的更好泛化能力。
• 在标准基准测试（Fisher、LibriSpeech、TED）上，该模型表现出具有竞争力的性能，多语言训练缩小了端到端语音翻译与流水线系统之间的性能差距。
• 在所有设置中，字符级单元的表现优于子词分词（BPE），尤其在低资源场景下对数据稀疏性的处理更优。
• 该框架成功实现了无需语言识别或独立文本归一化步骤的零样本翻译，简化了流水线并减少了误差传播。