[论文解读] When Does Unsupervised Machine Translation Work?

Kelly Marchisio, Kevin Duh+1 more|arXiv (Cornell University)|Apr 12, 2020

Natural Language Processing Techniques参考文献 46被引用 33

一句话总结

本文在语言不相似、领域不匹配和数据集多样性的条件下实证评估了无监督机器翻译，在只有在高度相关条件下才显示出较强的结果，并强调了不稳定性和失败点。

ABSTRACT

Despite the reported success of unsupervised machine translation (MT), the field has yet to examine the conditions under which these methods succeed, and where they fail. We conduct an extensive empirical evaluation of unsupervised MT using dissimilar language pairs, dissimilar domains, diverse datasets, and authentic low-resource languages. We find that performance rapidly deteriorates when source and target corpora are from different domains, and that random word embedding initialization can dramatically affect downstream translation performance. We additionally find that unsupervised MT performance declines when source and target languages use different scripts, and observe very poor performance on authentic low-resource language pairs. We advocate for extensive empirical evaluation of unsupervised MT systems to highlight failure points and encourage continued research on the most promising paradigms.

研究动机与目标

• 评估源语言和目标语言不相似时无监督 MT 的表现。
• 评估单语语料库之间的领域不匹配对无监督 MT 的影响。
• 在多样数据集和低资源语言场景中测试鲁棒性。
• 突出失败模式并提供用于对无监督 MT 系统进行压力测试的数据。

提出的方法

• 从单语语料库到跨语言嵌入，复制 Artetxe 等人的无监督 MT 流程。
• 使用 VecMap 对齐单语空间，通过跨领域相似性测量创建双语词汇表。
• 从嵌入派生的翻译构建初始的 SMT 基于短语的系统，并通过回译进行改进。
• 整合带有迭代回译的 NMT 混合步骤，以结合 SMT 和 NMT 的优点。
• 在多语言对和数据集上，评估在并行、分离和不同领域设置等不同数据条件下的系统。

实验结果

研究问题

• RQ1 无监督 MT 能否适用于不相似的语言（不同书写系统和语言家族）？
• RQ2 源单语语料和目标单语语料之间的领域不匹配如何影响翻译质量？
• RQ3 在多样数据集和真实低资源语言对中，性能是否保持？
• RQ4 在现实数据条件下训练无监督 MT 系统时存在哪些稳定性与可靠性问题？

主要发现

• 当源语料和目标语料来自不同领域时，无监督 MT 的性能会迅速恶化。
• 嵌入训练中的随机性会显著影响双语词典的诱导以及下游翻译性能。
• 对于不相似的语言对，无监督 MT 更具挑战性，Ru-En 的 BLEU 差距大于 Fr-En。
• 训练语料与测试数据之间的领域不匹配可能导致非常低的 BLEU 分数（例如在 Diff. Dom. 条件下 Ru-En 为 0.7）。
• 真实的低资源对（僧伽罗语-英语、尼泊尔语-英语）在没有补充数据的情况下显示出极差的无监督 MT 性能。
• 不同运行之间训练的稳定性存在差异，初始嵌入空间配置对下游有显著影响。