[论文解读] Multilingual Neural Machine Translation for Zero-Resource Languages

Surafel M. Lakew, Marcello Federico+2 more|arXiv (Cornell University)|Sep 16, 2019

Natural Language Processing Techniques参考文献 44被引用 4

一句话总结

本文提出一种多语言神经机器翻译（NMT）框架，通过在英语、意大利语和罗马尼亚语之间共享语义表示，提升低资源语言对的零样本翻译性能。通过在模型自身生成的单语数据上迭代自训练，该方法实现了与完全监督的双语系统相当的性能，优于基线的中间语方法，并在低资源设置下展示了有效的参数迁移。

ABSTRACT

In recent years, Neural Machine Translation (NMT) has been shown to be more effective than phrase-based statistical methods, thus quickly becoming the state of the art in machine translation (MT). However, NMT systems are limited in translating low-resourced languages, due to the significant amount of parallel data that is required to learn useful mappings between languages. In this work, we show how the so-called multilingual NMT can help to tackle the challenges associated with low-resourced language translation. The underlying principle of multilingual NMT is to force the creation of hidden representations of words in a shared semantic space across multiple languages, thus enabling a positive parameter transfer across languages. Along this direction, we present multilingual translation experiments with three languages (English, Italian, Romanian) covering six translation directions, utilizing both recurrent neural networks and transformer (or self-attentive) neural networks. We then focus on the zero-shot translation problem, that is how to leverage multi-lingual data in order to learn translation directions that are not covered by the available training material. To this aim, we introduce our recently proposed iterative self-training method, which incrementally improves a multilingual NMT on a zero-shot direction by just relying on monolingual data. Our results on TED talks data show that multilingual NMT outperforms conventional bilingual NMT, that the transformer NMT outperforms recurrent NMT, and that zero-shot NMT outperforms conventional pivoting methods and even matches the performance of a fully-trained bilingual system.

研究动机与目标

• 解决平行训练数据稀缺或不可用的低资源语言翻译挑战。
• 探究多语言NMT是否能提升训练数据中未包含的语言对之间的零样本翻译性能。
• 开发一种利用单语数据迭代改进零样本翻译性能的自训练方法。
• 比较循环NMT与Transformer架构在多语言和零样本设置下的有效性。
• 证明自训练可缩小零样本翻译系统与完全监督双语系统之间的性能差距。

提出的方法

• 在三种语言（英语、意大利语、罗马尼亚语）的平行数据上训练单一多语言NMT模型，使用语言特定标记来控制翻译方向。
• 采用零样本翻译设置，即模型在无直接平行数据的情况下实现意大利语与罗马尼亚语之间的翻译。
• 实施迭代自训练循环：从模型生成单语翻译，筛选并基于最佳假设重新训练，重复多轮。
• 采用双推理策略，同时生成双向的类似平行数据（例如，意大利语→罗马尼亚语和罗马尼亚语→意大利语）。
• 使用保留测试集上的BLEU分数评估性能，与双语基线和中间语方法进行比较。
• 对模型进行5轮自训练微调，每轮在增强数据上最多训练3个周期。

实验结果

研究问题

• RQ1 通过共享表示的多语言NMT能否提升低资源语言对的零样本翻译性能？
• RQ2 在零样本设置下，多语言NMT的性能与传统双语NMT和中间语方法相比如何？
• RQ3 使用模型生成的单语数据进行迭代自训练，能在多大程度上提升零样本翻译质量？
• RQ4 在多语言和零样本翻译场景中，Transformer架构是否优于循环NMT？
• RQ5 在模型生成数据上进行自训练，最终能否达到或超越完全监督双语系统的性能？

主要发现

• 在低资源设置下，多语言NMT模型优于传统双语NMT系统，通过跨语言共享参数实现了更高的BLEU分数。
• Transformer架构在所有翻译方向（包括零样本设置）中均持续优于循环NMT模型。
• 在第一轮自训练中，迭代自训练方法使意大利语→罗马尼亚语的BLEU分数提升+10.50（从4.72提升至15.22），罗马尼亚语→意大利语的BLEU分数提升+11.22（从5.09提升至16.31）。
• 经过五轮自训练后，模型在意大利语→罗马尼亚语上达到20.11 BLEU，在罗马尼亚语→意大利语上达到22.41 BLEU，与完全监督双语系统（分别为20.10和21.36 BLEU）相当或略高。
• 自训练方法优于单对和多对中间语方法，在第五轮时，分别在两个零样本方向上较多对中间语方法高出+3.34和+3.02 BLEU。
• 结果表明，基于模型生成数据的自训练能随时间产生更清晰、更高质量的翻译，表明具有有效的自我校正和渐进式学习能力。