[论文解读] Pre-Translation for Neural Machine Translation

Jan Niehues, Eunah Cho+2 more|arXiv (Cornell University)|Oct 17, 2016

Natural Language Processing Techniques参考文献 21被引用 67

一句话总结

本文提出神经机器翻译的预翻译（Pre-Translation for Neural Machine Translation, PreMT），其中首先使用短语基于机器翻译（PBMT）系统将源输入翻译为目标语言，随后神经机器翻译（NMT）模型同时以原始源语言和PBMT输出作为输入，生成最终翻译。该方法在基线NMT和PBMT系统的基础上，将翻译质量提升最高达2 BLEU分，尤其在罕见词和词形复杂的术语上表现更优。

ABSTRACT

Recently, the development of neural machine translation (NMT) has significantly improved the translation quality of automatic machine translation. While most sentences are more accurate and fluent than translations by statistical machine translation (SMT)-based systems, in some cases, the NMT system produces translations that have a completely different meaning. This is especially the case when rare words occur. When using statistical machine translation, it has already been shown that significant gains can be achieved by simplifying the input in a preprocessing step. A commonly used example is the pre-reordering approach. In this work, we used phrase-based machine translation to pre-translate the input into the target language. Then a neural machine translation system generates the final hypothesis using the pre-translation. Thereby, we use either only the output of the phrase-based machine translation (PBMT) system or a combination of the PBMT output and the source sentence. We evaluate the technique on the English to German translation task. Using this approach we are able to outperform the PBMT system as well as the baseline neural MT system by up to 2 BLEU points. We analyzed the influence of the quality of the initial system on the final result.

研究动机与目标

• 为解决NMT系统在罕见词或未登录词（如英语中'goalie'被错误翻译为德语'Gott'（上帝））时产生错误翻译的问题。
• 利用PBMT在处理罕见词方面的优势，同时保留NMT在流畅性和语法准确性方面的优势。
• 通过将PBMT输出与原始源语言输入共同输入NMT模型，提升整体翻译质量。
• 探究通过PBMT进行预翻译是否能提升NMT性能，特别是在BPE子词分词破坏语义完整性的场景下。

提出的方法

• 使用短语基于机器翻译（PBMT）系统将源句预先翻译为目标语言，生成初始翻译。
• 随后，NMT模型以原始源句与PBMT预翻译结果拼接而成的输入序列作为条件进行生成。
• NMT模型同时利用原始源语言和预翻译结果生成最终翻译，从而能够访问罕见词在目标语言中的形态完整表示。
• 分析NMT模型中的注意力机制，表明其对罕见词或子词分词后的词更关注预翻译输入，证明了预翻译作为语义引导的有效性。
• 该方法使用字节对编码（BPE）限制NMT的词汇量，但通过提供预翻译作为语义锚点，缓解了BPE带来的负面影响。
• 在英德翻译任务上对方法进行了评估，并与PBMT、NMT及集成系统进行了BLEU分数对比。

实验结果

研究问题

• RQ1 使用短语基于MT系统进行预翻译，是否能提升神经MT系统的翻译质量，特别是在罕见词或未登录词方面？
• RQ2 将原始源句与PBMT预翻译结果结合，是否能增强NMT模型生成准确且流畅翻译的能力？
• RQ3 PBMT预翻译的质量在多大程度上影响PreMT系统的最终性能？
• RQ4 PreMT方法是否在BLEU分数和罕见词错误减少方面均优于独立的PBMT与NMT系统？

主要发现

• 在英德翻译任务中，PreMT系统相较于基线NMT和PBMT系统，最高提升2 BLEU分。
• 当使用模型集成时，PreMT系统相较NMT基线提升1.8 BLEU分。
• 对于罕见词如'goalie'和'parried'，NMT系统单独翻译时常出错（如'Gott'对应'Torwart'），而PreMT能正确翻译。
• NMT模型的注意力机制显示，对子词分词或罕见词更关注预翻译输入，表明预翻译被有效用作语义引导。
• PBMT系统单独在罕见词上表现优于NMT，但PreMT通过结合PBMT的词汇准确性与NMT的流畅性，表现更优。
• 该方法对PBMT质量具有鲁棒性：即使PBMT系统质量一般，PreMT仍优于NMT基线。