[论文解读] Reference Language based Unsupervised Neural Machine Translation

Zuchao Li, Hai Zhao+3 more|arXiv (Cornell University)|Apr 5, 2020

Natural Language Processing Techniques参考文献 48被引用 5

一句话总结

本文提出了一种基于参考语言的无监督神经机器翻译（RUNMT）框架，该框架利用源语言与参考语言之间的共享平行语料，以提升无监督NMT中的回译质量。通过引入参考语言一致机制，RUNMT增强了跨语言对齐并减少了噪声伪平行数据，相较于强基线模型取得了显著的BLEU提升，包括在中文-罗马尼亚语翻译任务中达到13.66的BLEU分数。

ABSTRACT

Exploiting a common language as an auxiliary for better translation has a long tradition in machine translation and lets supervised learning-based machine translation enjoy the enhancement delivered by the well-used pivot language in the absence of a source language to target language parallel corpus. The rise of unsupervised neural machine translation (UNMT) almost completely relieves the parallel corpus curse, though UNMT is still subject to unsatisfactory performance due to the vagueness of the clues available for its core back-translation training. Further enriching the idea of pivot translation by extending the use of parallel corpora beyond the source-target paradigm, we propose a new reference language-based framework for UNMT, RUNMT, in which the reference language only shares a parallel corpus with the source, but this corpus still indicates a signal clear enough to help the reconstruction training of UNMT through a proposed reference agreement mechanism. Experimental results show that our methods improve the quality of UNMT over that of a strong baseline that uses only one auxiliary language, demonstrating the usefulness of the proposed reference language-based UNMT and establishing a good start for the community.

研究动机与目标

• 解决由于噪声伪平行数据导致的无监督NMT中回译不稳定与质量低下的问题。
• 探索利用具有共享平行语料的参考语言，以提供超越源-目标语言对的更强对齐信号。
• 通过利用多语言特性与参考语言一致性，提升无监督翻译性能。
• 开发一种与现有UNMT系统兼容的框架，在无需源语言与目标语言之间完整平行语料的前提下，提升训练效果。

提出的方法

• 提出一种基于参考语言的UNMT框架（RUNMT），其中参考语言仅与源语言共享平行数据。
• 引入参考语言一致机制，利用源-参考语料中的平行对齐信号，引导并稳定回译过程。
• 采用三种变体：RAT（参考语言一致训练）、RABT（参考语言感知回译）和XBT（跨语言桥梁训练），每种使用不同的监督信号。
• 使用单语数据进行训练，并利用参考语言提升回译过程中间翻译的质量。
• 迭代应用回译，利用生成的伪平行数据同时优化源到目标和目标到源的模型。
• 通过目标语言翻译中源语言词符的比例来衡量训练进展，将其作为中间质量的代理指标。

实验结果

研究问题

• RQ1 具有与源语言共享平行语料的参考语言是否能超越传统回译，在无监督NMT性能上带来提升？
• RQ2 如何有效利用源-参考平行数据中的对齐信号，以稳定并提升UNMT中的回译质量？
• RQ3 引入参考语言一致性是否能减少回译过程中伪平行数据生成的噪声与不稳定性？
• RQ4 所提出的框架是否能在零样本翻译场景下超越强基线模型MUNMT？
• RQ5 参考语言方法是否与半监督及多语言NMT设置兼容，并具备可扩展性？

主要发现

• RUNMT在中文-罗马尼亚语翻译任务中取得了13.66的BLEU分数，显著优于强基线模型MUNMT（11.55 BLEU）。
• RABT变体将目标语言翻译中源语言词符的比例从2.01%降低至1.69%，表明对齐效果改善且噪声减少。
• 生成翻译中源语言词符的比例与BLEU分数高度相关，验证了其作为中间训练质量代理指标的有效性。
• 所提方法将BT-BLEU从MUNMT的31.98提升至33.16，表明生成的伪平行数据质量更高。
• 参考语言一致机制有效稳定了回译过程，降低了因低质量生成数据导致的模型崩溃风险。
• RUNMT与现有UNMT框架兼容，并为利用多语言信号提升零样本翻译提供了一条可扩展的路径。