[论文解读] Unsupervised Domain Adaptation for Neural Machine Translation with Iterative Back Translation.

Di Jin, Zhijing Jin+2 more|arXiv (Cornell University)|Jan 22, 2020

Natural Language Processing Techniques参考文献 24被引用 7

一句话总结

本文提出了一种用于神经机器翻译（NMT）无监督域自适应的迭代回译（IBT）方法，利用领域内单语数据在循环中生成伪平行句对，从而在无需任何领域内平行数据的情况下提升翻译质量。该方法在德语到英语的翻译任务中，相较于最强的先前方法最高提升+9.48 BLEU，相较于未微调的基线模型最高提升+27.77 BLEU。

ABSTRACT

State-of-the-art neural machine translation (NMT) systems are data-hungry and perform poorly on domains with little supervised data. As data collection is expensive and infeasible in many cases, unsupervised domain adaptation methods are needed. We apply an Iterative Back Translation (IBT) training scheme on in-domain monolingual data, which repeatedly uses a Transformer-based NMT model to create in-domain pseudo-parallel sentence pairs in one translation direction on the fly and then use them to train the model in the other direction. Evaluated on three domains of German-to-English translation task with no supervised data, this simple technique alone (without any out-of-domain parallel data) can already surpass all previous domain adaptation methods---up to +9.48 BLEU over the strongest previous method, and up to +27.77 BLEU over the unadapted baseline. Moreover, given available supervised out-of-domain data on German-to-English and Romanian-to-English language pairs, we can further enhance the performance and obtain up to +19.31 BLEU improvement over the strongest baseline, and +47.69 BLEU increment against the unadapted model.

研究动机与目标

• 解决因缺乏监督的领域内平行数据而导致低资源领域中NMT性能不佳的挑战。
• 开发一种仅利用领域内单语数据进行域自适应的方法，且无需使用域外平行数据。
• 通过自监督生成伪平行数据，提升低资源领域中的翻译质量。
• 通过一种简单而有效的迭代训练方案，在无监督域自适应的NMT中实现最先进性能。

提出的方法

• 使用基于Transformer的NMT模型，通过迭代回译（IBT）从领域内单语数据中单向生成伪平行句对。
• 利用生成的伪平行数据在反向翻译方向上微调模型，形成反馈循环。
• 迭代重复该过程，每一步均使用新生成的领域内伪数据对模型进行优化。
• 端到端训练模型，使用生成的伪平行数据，不依赖任何真实的领域内平行样本。
• 利用模型自身的翻译能力，模拟目标领域中的平行数据。
• 在可用时整合域外平行数据，以进一步提升性能。

实验结果

研究问题

• RQ1 仅使用领域内单语数据，迭代回译是否能有效将预训练的NMT模型适配到低资源领域？
• RQ2 与现有域自适应技术相比，所提出的IBT方法在BLEU分数提升方面表现如何？
• RQ3 在完全缺乏领域内平行标注的情况下，模型在迭代生成伪平行数据方面能获得多大程度的收益？
• RQ4 当与现有的域外平行数据结合时，IBT方法是否可进一步增强？

主要发现

• 仅使用IBT方法，在无领域内平行数据的德语到英语翻译任务中，相较于最强的先前域自适应方法，最高提升+9.48 BLEU。
• 在同一基准测试中，该方法相较于未微调的基线模型最高提升+27.77 BLEU。
• 当与可用的域外平行数据结合时，该方法相较于最强基线最高提升+19.31 BLEU。
• 当在IBT循环基础上额外使用域外数据时，该方法相较于未微调模型最高提升+47.69 BLEU。
• 性能提升在多个领域中保持一致，证明了IBT方法的鲁棒性。
• 结果表明，即使完全没有领域内平行数据，迭代回译也极为有效，优于先前的无监督域自适应方法。