[论文解读] Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder

Thanh-Le Ha, Jan Niehues+1 more|arXiv (Cornell University)|Nov 15, 2016

Natural Language Processing Techniques参考文献 15被引用 266

一句话总结

论文提出一个统一的多语言NMT框架，使用单一共享编码器和解码器，通过语言特定编码和目标强制实现多对多翻译，无需架构更改，在资源不足和零资源设置下显示改进。

ABSTRACT

In this paper, we present our first attempts in building a multilingual Neural Machine Translation framework under a unified approach. We are then able to employ attention-based NMT for many-to-many multilingual translation tasks. Our approach does not require any special treatment on the network architecture and it allows us to learn minimal number of free parameters in a standard way of training. Our approach has shown its effectiveness in an under-resourced translation scenario with considerable improvements up to 2.6 BLEU points. In addition, the approach has achieved interesting and promising results when applied in the translation task that there is no direct parallel corpus between source and target languages.

研究动机与目标

• 激发并开发一个使用单个编码器和单个解码器来处理多语言的多语言NMT框架。
• 在不改变架构的前提下，在多语言翻译中启用注意力机制。
• 利用语言特定编码和目标强制来控制翻译方向和语言对齐。
• 在资源不足和零资源翻译场景下评估该方法以评估收益与局限。

提出的方法

• 在跨语言中采用单个通用的编码器和解码器，而不修改注意力机制。
• 通过在单词前缀上语言代码（例如 @de@, @en@）来应用语言特定编码，将不同语言放入共享嵌入。
• 通过在源句子前置/后置一个语言特定的哨兵来引入目标强制，以引导翻译朝向所选目标语言。
• 使用标准NMT训练过程训练（共享编码器/解码器；相同的注意力）并使用 BPE 子词单元来管理词汇。
• 使用 mix-source 或 mix-multi-source 策略来纳入单语数据和辅助语言，以提升低资源翻译。
• 在资源不足的英语-德语和零资源的德语-法语场景下用 BLEU 进行评估；并与基线和枢纽/桥接变体进行比较。

实验结果

研究问题

• RQ1 单一的通用编码器和解码器是否能够在不改变架构的情况下处理多语言之间的多对多翻译？
• RQ2 语言特定编码再加目标强制是否能够实现有效的多语言NMT并减少参数量？
• RQ3 在资源不足和零资源设置下，使用 mix-source 和 mix-multi-source 策略的多语言训练表现如何？
• RQ4 在这个统一的多语言框架中使用大规模单语语料的影响是什么？

主要发现

系统	BLEU_tst2013	BLEU_tst2014	Delta_tst2013	Delta_tst2014
基线 (En→De)	24.35	20.62	-	-
混合源 (En,De→De,De)	26.99	22.71	+2.64	+2.09
混合多源 (En,Fr→De,De)	26.64	22.21	+2.21	+1.59
基线 (En→De) 搭配大量单语数据	-	-	-	-
混合源大规模 (En,De→De,De)	25.87	21.68	+1.52	+1.06
Bridge (De,En,En→En,Fr,En)	9.70	-	-3.71	-
Universal (De,En,En,Fr→En,Fr,En,Fr)	10.77	-	-2.64	-

• 在资源不足的英语→德语翻译中，Mix-source 相对于基线在 tst2013 提高 BLEU 2.64，在 tst2014 提高 2.09；Mix-multi-source 分别提高 2.21 和 1.59。
• 在混合源设置中加入大量单语数据，在并行数据适应后，在 tst2013 获得 BLEU 增益 1.52，在 tst2014 为 1.06。
• 零资源德语→法语实验显示 Bridge 和 Universal 策略的表现不及 Pivot 基线，BLEU 分别为 9.70 和 10.77，相较 Pivot 的 13.41；语言识别错误不容忽视（Bridge 约 21.27% 的词语语言错误；Universal 约 17.57%）。
• 该方法在无需重新设计架构的情况下展示了多语言能力的好处和竞争性结果，同时突出了零资源场景下的平衡与强制机制挑战。