[论文解读] What Level of Quality can Neural Machine Translation Attain on Literary Text?

Antonio Toral, Andy Way|arXiv (Cornell University)|Jan 15, 2018

Natural Language Processing Techniques被引用 4

一句话总结

本研究通过在超过1000万字的平行小说语料上训练神经机器翻译（NMT）系统和短语基于统计的机器翻译（PBSMT）系统，评估了神经机器翻译（NMT）在文学文本上的表现。NMT显著优于PBSMT，BLEU得分绝对提升3分（相对提升11%），在人类评估中，根据小说不同，有17%至34%的翻译达到人类水平质量。

ABSTRACT

Given the rise of a new approach to MT, Neural MT (NMT), and its promising performance on different text types, we assess the translation quality it can attain on what is perceived to be the greatest challenge for MT: literary text. Specifically, we target novels, arguably the most popular type of literary text. We build a literary-adapted NMT system for the English-to-Catalan translation direction and evaluate it against a system pertaining to the previous dominant paradigm in MT: statistical phrase-based MT (PBSMT). To this end, for the first time we train MT systems, both NMT and PBSMT, on large amounts of literary text (over 100 million words) and evaluate them on a set of twelve widely known novels spanning from the the 1920s to the present day. According to the BLEU automatic evaluation metric, NMT is significantly better than PBSMT (p < 0.01) on all the novels considered. Overall, NMT results in a 11% relative improvement (3 points absolute) over PBSMT. A complementary human evaluation on three of the books shows that between 17% and 34% of the translations, depending on the book, produced by NMT (versus 8% and 20% with PBSMT) are perceived by native speakers of the target language to be of equivalent quality to translations produced by a professional human translator.

研究动机与目标

• 评估最先进的神经机器翻译（NMT）在文学文本（尤其是小说）上可达到的翻译质量。
• 在领域内文学平行语料上，将NMT性能与此前主导的短语基于统计的机器翻译（PBSMT）进行比较。
• 评估NMT是否能在文学内容上生成与专业人类翻译质量相当的译文。
• 研究文本特征（词汇丰富度、相对于训练数据的新颖性、句子长度）对NMT相对于PBSMT性能提升的影响。

提出的方法

• 在12部广为人知的小说的1000多万字平行文本上，分别训练了NMT系统和PBSMT系统。
• 在全部12部小说上，使用BLEU指标进行自动评估，以比较NMT与PBSMT的性能。
• 使用Appraise工具进行人工评估，对NMT、PBSMT和专业人类译者在三部小说上的译文进行质量排名。
• 应用TrueSkill算法，为每种译文类型（HT、NMT、PBSMT）推导出具有统计显著性（p < 0.05）的总体评分。
• 分析NMT相对于PBSMT的性能提升与三个小说特异性特征（词汇丰富度、新颖性、平均句子长度）之间的相关性。
• 通过成对排名分析，比较三部小说中人类评估下NMT与PBSMT输出的质量。

实验结果

研究问题

• RQ1 NMT在领域内文学文本（特别是小说）上能否显著优于PBSMT？
• RQ2 在文学内容上，NMT在多大程度上能生成被母语者认为与专业人类翻译质量相当的译文？
• RQ3 文本特征（如词汇丰富度、相对于训练数据的新颖性、句子长度）如何影响NMT相对于PBSMT的性能增益？
• RQ4 基于质量与人类感知，NMT在后处理编辑方面对专业文学译者有多大潜在帮助？

主要发现

• 根据BLEU指标，NMT在全部12部小说上均显著优于PBSMT，绝对提升3分（相对提升11%），且p < 0.01。
• 在人工评估中，17%至34%的NMT译文被感知为与专业人类译文质量相当，而PBSMT为8%至20%。
• 在三部小说的评估中，NMT在41.4%至54.7%的案例中排名高于PBSMT，PBSMT与NMT并列的情况占27.8%至39.4%。
• 通过TrueSkill推导的总体人工评估得分显示，NMT显著优于PBSMT，但低于人类译文，NMT在距离PBSMT基线到人类质量的路径上，达到了18%至22%的进展。
• 仅句子长度与NMT相对于PBSMT的性能提升存在有意义的相关性，随着句子长度增加，性能增益下降。
• 平均句子长度最长的小说中，NMT相对于PBSMT的性能提升相对较低，表明句子长度是性能差异的关键因素。