[论文解读] The Effect of Translationese in Machine Translation Test Sets

Mike Zhang, Antonio Toral|arXiv (Cornell University)|Jun 19, 2019

Natural Language Processing Techniques参考文献 17被引用 6

一句话总结

本研究利用 WMT 2016–2018 新闻共享任务数据，针对 17 种语言对，调查了机器翻译（MT）测试集中翻译语体（translationese）的影响。结果表明，源测试集中的翻译语体导致人工评价得分虚高，扭曲系统排名，并且对低质量翻译方向的影响尤为显著，从而挑战了当前 MT 研究基准评估的有效性。

ABSTRACT

The effect of translationese has been studied in the field of machine translation (MT), mostly with respect to training data. We study in depth the effect of translationese on test data, using the test sets from the last three editions of WMT's news shared task, containing 17 translation directions. We show evidence that (i) the use of translationese in test sets results in inflated human evaluation scores for MT systems; (ii) in some cases system rankings do change and (iii) the impact translationese has on a translation direction is inversely correlated to the translation quality attainable by state-of-the-art MT systems for that direction.

研究动机与目标

• 调查 MT 测试集源文本中的翻译语体是否人为提高 MT 系统的人工评价得分。
• 确定测试集中存在翻译语体是否改变 WMT 评估中的系统排名。
• 检查翻译语体的影响是否在不同语言对之间存在差异，特别是与语言距离或翻译质量的关系。
• 质疑当前包含翻译语体的 MT 基准评估实践的有效性。
• 提供实证证据，表明测试集构成显著影响 MT 评估结果。

提出的方法

• 本研究分析了 WMT 2016–2018 新闻共享任务的测试集，其中包含原始文本和翻译语体的源文本。
• 基于语言学特征和元数据线索，将测试集划分为原始文本（O→T）和翻译语体（T→O）源段落。
• 通过比较 O→T 和 T→O 段落的人工评价得分（DA 分数），衡量性能虚高程度。
• 在移除翻译语体段落后，重新评估系统排名，以检验排名稳定性。
• 通过 Wilcoxon 秩和检验进行统计聚类，识别系统性能顺序的显著变化。
• 通过相关性分析，考察翻译语体影响与可实现翻译质量（如 BLEU 或 DA 分数）之间的关系。

实验结果

研究问题

• RQ1 在 MT 测试集的源端使用翻译语体是否不公平地偏爱某些 MT 系统，还是这种效应仅限于特定情况（如中译英）？
• RQ2 从测试集中移除翻译语体段落后，是否改变 WMT 评估中 MT 系统的排名？
• RQ3 翻译语体对 MT 评估的影响是否在某些语言对中更为显著，特别是那些可实现翻译质量较低的语言对？
• RQ4 测试集中翻译语体在多大程度上扭曲了人工评价得分与自动指标的相关性？

主要发现

• 测试集源文本中的翻译语体导致人工评价得分虚高，系统在翻译语体输入上获得的 DA 分数显著更高。
• 在 17 种语言对中的 14 种，移除翻译语体段落后，至少有一个系统排名变化超过一个位置。
• 翻译语体对系统性能的影响与可实现翻译质量呈负相关：质量较低的方向（如英→土）受影响更严重。
• 对于英→土方向，当使用原始语言输入测试时，排名第一的系统排名下降至第 4 名，表明排名发生显著变化。
• 该效应在低资源或低质量翻译方向最为显著，其中翻译语体的简化放大了性能差距。
• 本研究证实，测试集构成，特别是源语言的来源，显著偏倚 MT 评估结果。