[论文解读] Text Repair Model for Neural Machine Translation.

Markus Freitag, Isaac Caswell+1 more|arXiv (Cornell University)|Apr 9, 2019

Natural Language Processing Techniques参考文献 11被引用 9

一句话总结

本文提出一种文本修复模型作为神经机器翻译（NMT）的后处理模块，以纠正翻译腔并提升流畅度。该模型通过将单语数据经由英语进行往返翻译来模拟NMT错误，从而在英语-德语和英语-罗马尼亚语任务中，将BLEU分数最高提升2.5分，包括顶级WMT系统输出的结果。

ABSTRACT

In this work, we train a text repair model as a post-processor for Neural Machine Translation (NMT). The goal of the repair model is to correct typical errors introduced by the translation process, and convert the translationese output into natural text. The repair model is trained on monolingual data that has been round-trip translated through English, to mimic errors that are similar to the ones introduced by NMT. Having a trained repair model, we apply it to the output of existing NMT systems. We run experiments for both the WMT18 English to German and the WMT16 English to Romanian task. Furthermore, we apply the repair model on the output of the top submissions of the most recent WMT evaluation campaigns. We see quality improvements on all tasks of up to 2.5 BLEU points.

研究动机与目标

• 解决神经机器翻译（NMT）输出中不自然、不流畅的翻译腔问题。
• 开发一种后处理模块，以纠正典型NMT引入的错误，生成更自然的文本。
• 利用通过往返翻译方式人工污染的单语数据来训练修复模型，以模拟NMT错误。
• 在标准NMT系统及顶级WMT提交结果上评估该修复模型。

提出的方法

• 该修复模型在经过人工污染的单语句子上进行训练，污染方式为先将句子翻译成英语，再从英语翻译回源语言，从而模拟NMT错误。
• 该往返翻译过程生成了具有与真实NMT输出中相似错误的合成训练数据。
• 修复模型是一个序列到序列模型，其目标是从被污染且带有错误的版本中预测出原始的、流畅的单语句子。
• 该模型作为后处理模块应用于NMT输出，用更自然的修正版本替换模型原始的翻译结果。
• 该方法仅使用单语数据，避免了后处理阶段对平行语料的需求。
• 该方法在低资源（WMT16英语-罗马尼亚语）和高资源（WMT18英语-德语）翻译任务上均进行了评估。

实验结果

研究问题

• RQ1 在往返翻译的单语数据上进行训练的文本修复模型，能否有效纠正NMT输出中的翻译腔？
• RQ2 将此类修复模型应用于标准NMT系统时，翻译质量能提升多少？
• RQ3 该修复模型是否能泛化到高性能NMT系统，包括顶级WMT提交结果？
• RQ4 该改进在不同语言对之间是否一致，包括英语-罗马尼亚语等低资源语言对？

主要发现

• 在WMT18英语-德语翻译任务中，该修复模型将翻译质量最高提升了2.5个BLEU点。
• 该模型在WMT16英语-罗马尼亚语任务上也实现了稳定提升，证明其在低资源设置下依然有效。
• 该修复模型显著提升了近期WMT评估活动中顶级NMT系统输出的质量。
• 该模型的性能提升归因于其能够纠正典型翻译腔中常见的不自然表达和结构错误。
• 使用往返翻译的单语数据能有效模拟NMT错误，从而在无需平行数据的情况下实现有效训练。
• 该方法作为后处理模块非常有效，表明无需重新训练主NMT模型即可显著提升流畅度。