[论文解读] Sometimes We Want Translationese

Prasanna Parthasarathi, Koustuv Sinha+2 more|arXiv (Cornell University)|Apr 15, 2021

Natural Language Processing Techniques参考文献 64被引用 4

一句话总结

本文提出一个框架，用于评估神经机器翻译（NMT）系统在忠实性与对源输入词序扰动的鲁棒性之间的权衡。通过新颖的扰动函数和度量方法，研究发现当前最先进的基于Transformer的模型（Helsinki/OPUS）在七种语言中均强烈倾向于鲁棒性而非忠实性，即使在输入词序被改变时也常产生幻觉性翻译，凸显了NMT设计中的关键权衡。

ABSTRACT

Rapid progress in Neural Machine Translation (NMT) systems over the last few years has been driven primarily towards improving translation quality, and as a secondary focus, improved robustness to input perturbations (e.g. spelling and grammatical mistakes). While performance and robustness are important objectives, by over-focusing on these, we risk overlooking other important properties. In this paper, we draw attention to the fact that for some applications, faithfulness to the original (input) text is important to preserve, even if it means introducing unusual language patterns in the (output) translation. We propose a simple, novel way to quantify whether an NMT system exhibits robustness and faithfulness, focusing on the case of word-order perturbations. We explore a suite of functions to perturb the word order of source sentences without deleting or injecting tokens, and measure the effects on the target side in terms of both robustness and faithfulness. Across several experimental conditions, we observe a strong tendency towards robustness rather than faithfulness. These results allow us to better understand the trade-off between faithfulness and robustness in NMT, and opens up the possibility of developing systems where users have more autonomy and control in selecting which property is best suited for their use case.

研究动机与目标

• 探究NMT系统是否优先考虑对原始输入的忠实性，或对输入扰动（尤其是词序变化）的鲁棒性。
• 识别在诗歌、语言学习或句法分析等场景中，保留输入结构比生成流畅但已改变的翻译更具价值的情况。
• 开发并验证新的度量方法与扰动函数，以量化NMT输出中的忠实性与鲁棒性。
• 证明当前SOTA NMT模型表现出强烈的鲁棒性倾向，通常以牺牲忠实性为代价，尤其在非英语语言中。

提出的方法

• 提出三类词序扰动函数：基于依存树、基于词性标注（POS）以及随机打乱，所有方法均保留源词元且不进行删除或插入。
• 引入两种新度量：α_E（忠实性），衡量原始翻译与扰动后翻译之间的词重叠；β_1、β_2（鲁棒性），衡量扰动输入与原始输入翻译之间的相似度。
• 采用Helsinki/OPUS基于Transformer的NMT模型，将英语翻译为七种不同语言：德语、法语、西班牙语、俄语、中文、日语和意大利语。
• 在16种不同的扰动函数上应用实验，并在多种实验条件下计算α_E与β得分，以评估模型行为。
• 使用BLEU得分作为翻译质量基线，并将其与鲁棒性及忠实性度量相关联，以评估模型行为。
• 分析扰动类型、语系家族与模型性能之间的关系，识别在不同语言与函数下鲁棒性与忠实性的模式。

实验结果

研究问题

• RQ1 当前最先进的NMT模型在源句词序被扰动时，其翻译输出的保留程度如何？
• RQ2 在不同语言与不同扰动类型下，模型的鲁棒性与忠实性相比如何？
• RQ3 翻译质量（BLEU）与模型对鲁棒性或忠实性的倾向之间存在何种关系？
• RQ4 哪些扰动函数最能触发NMT模型的鲁棒或忠实行为？
• RQ5 我们能否量化并比较NMT系统中的忠实性与鲁棒性，以指导特定应用场景下的模型选择？

主要发现

• 所有7种目标语言均表现出对鲁棒性的系统性偏好，忠实性得分（α_E）始终低于鲁棒性得分（β_1），表明模型更鲁棒而非更忠实。
• 日语翻译模型表现出最高的鲁棒性（β_1），但忠实性最低（α_E），表明其强烈倾向于规范化输入结构。
• 模型在涉及词性的扰动（如verbAtBeginning、nounVerbSwap）中表现出更高的鲁棒性，表明基于词性的重排可增强鲁棒性。
• BLEU得分与鲁棒性（β_1）之间的相关性表明，高性能模型更可能在输入扰动下产生一致的输出。
• 某些扰动函数（如TreeMirrorIn与Reversed）导致更高的忠实性，而FunctionalShuffle在所有语言中均引发最强的鲁棒性行为。
• 极少数翻译样本显示β_1 > β，表明在极少数情况下重新排列源句反而提升了翻译质量，提示该现象或可用于探测模型的‘不自然性’。