[论文解读] Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation

Sneha Mehta, Bahareh Azarnoush+5 more|arXiv (Cornell University)|May 22, 2020

Text Readability and Simplification参考文献 29被引用 12

一句话总结

本文提出一种方法，通过自动预处理源句（即句式简化）来提升低资源语言对的黑盒机器翻译（BBMT）性能。作者利用高资源语言对进行后向翻译，构建大规模领域内 paraphrase 语料库，以训练端到端的自动预处理（APP）模型，将复杂、习语化的英文句子简化为更字面、更利于翻译的形式，从而在 BLEU 分数和人工评估中显著优于未经预处理的输入。

ABSTRACT

Black-box machine translation systems have proven incredibly useful for a variety of applications yet by design are hard to adapt, tune to a specific domain, or build on top of. In this work, we introduce a method to improve such systems via automatic pre-processing (APP) using sentence simplification. We first propose a method to automatically generate a large in-domain paraphrase corpus through back-translation with a black-box MT system, which is used to train a paraphrase model that "simplifies" the original sentence to be more conducive for translation. The model is used to preprocess source sentences of multiple low-resource language pairs. We show that this preprocessing leads to better translation performance as compared to non-preprocessed source sentences. We further perform side-by-side human evaluation to verify that translations of the simplified sentences are better than the original ones. Finally, we provide some guidance on recommended language pairs for generating the simplification model corpora by investigating the relationship between ease of translation of a language pair (as measured by BLEU) and quality of the resulting simplification model from back-translations of this language pair (as measured by SARI), and tie this into the downstream task of low-resource translation.

研究动机与目标

• 解决在无法进行微调的黑盒 MT 系统中，低资源机器翻译所面临的挑战。
• 提升对习语化和非组合性短语的翻译质量，这些短语对 BBMT 系统而言难以处理。
• 开发一种可泛化的、基于数据驱动的方法，利用后向翻译生成的合成平行语料库，训练句子简化模型。
• 指导选择高资源语言对，以在下游低资源翻译任务中获得最优质量的简化模型。

提出的方法

• 将高资源目标语言的参考翻译回译为英文，生成合成的平行句子对（源：简化句，参考：原始复杂句）。
• 在合成平行语料库上训练端到端的序列到序列模型（APP），学习将复杂源句简化为更简洁、更具组合性的形式。
• 将训练好的 APP 模型应用于黑盒 MT 系统前，对源句进行预处理，保持语义的同时提升翻译流畅度。
• 只要源语言保持一致，即可在多个低资源语言对上复用同一 APP 模型，实现模型迁移。
• 使用自动指标（BLEU、SARI）、并行人工评估和后编辑效率来评估性能。
• 分析高资源语言对的翻译难易度（BLEU）与由此生成的简化模型质量（SARI）之间的关系，以指导语料选择。

实验结果

研究问题

• RQ1 通过句子简化实现的自动预处理，能否提升黑盒 MT 系统在低资源语言对上的翻译质量？
• RQ2 通过后向翻译训练的简化模型质量，与用于数据收集的高资源语言对的翻译难易度之间是否存在相关性？
• RQ3 简化源句是否能带来更高的人工评分翻译质量，并减少后编辑工作量？
• RQ4 哪些高资源语言对能为特定目标语言生成最有效的简化模型？

主要发现

• 当在黑盒翻译前对源句应用 APP 模型时，其在多个低资源语言对上的 BLEU 分数显著提升。
• 并行人工评估确认，简化句的翻译在流畅度和语义完整性方面评分高于原始句的翻译。
• 后编辑效率提升，因为人工后编辑者需要更少的努力来修正简化输入的翻译结果。
• 高资源语言对的 BLEU 分数与生成简化模型的 SARI 分数之间存在强烈正相关，表明更容易翻译的语言对能生成更优的简化模型。
• 只要源语言不变，该方法可在多个低资源语言对上泛化，实现单一 APP 模型的复用。
• 该方法可在无需并行简化数据的前提下，仅利用高资源语言对的后向翻译，构建领域内、数据驱动的简化模型。