[论文解读] Understanding Pre-Editing for Black-Box Neural Machine Translation

Rei Miyata, Atsushi Fujita|arXiv (Cornell University)|Feb 5, 2021

Natural Language Processing Techniques参考文献 28被引用 4

一句话总结

本研究通过收集三种翻译方向、两种NMT系统及四个文本领域中的6,652个预编辑实例，调查了人类在黑箱神经机器翻译（NMT）中的预编辑实践。研究发现，提升语义清晰度和句法显性化比简化或缩短源文本更有效，尽管整体上预编辑效果不可预测，但不同编辑操作对NMT输出质量的影响存在可预测的模式。

ABSTRACT

Pre-editing is the process of modifying the source text (ST) so that it can be translated by machine translation (MT) in a better quality. Despite the unpredictability of black-box neural MT (NMT), pre-editing has been deployed in various practical MT use cases. Although many studies have demonstrated the effectiveness of pre-editing methods for particular settings, thus far, a deep understanding of what pre-editing is and how it works for black-box NMT is lacking. To elicit such understanding, we extensively investigated human pre-editing practices. We first implemented a protocol to incrementally record the minimum edits for each ST and collected 6,652 instances of pre-editing across three translation directions, two MT systems, and four text domains. We then analysed the instances from three perspectives: the characteristics of the pre-edited ST, the diversity of pre-editing operations, and the impact of the pre-editing operations on NMT outputs. Our findings include the following: (1) enhancing the explicitness of the meaning of an ST and its syntactic structure is more important for obtaining better translations than making the ST shorter and simpler, and (2) although the impact of pre-editing on NMT is generally unpredictable, there are some tendencies of changes in the NMT outputs depending on the editing operation types.

研究动机与目标

• 理解人类预编辑如何提升黑箱NMT系统中的翻译质量。
• 调查预编辑后源文本的特征及其对NMT输出的影响。
• 分析不同预编辑操作的多样性及其对NMT性能的影响。
• 为开发稳健的预编辑策略及自动NMT工具提供实证洞察。

提出的方法

• 采用人机协同协议，逐步记录了在三种翻译方向上6,652个源文本实例的最小必要编辑。
• 预编辑数据在两种NMT系统（Google和Marian NMT）及四个文本领域（如新闻、技术、医疗、法律）中收集。
• 研究分析了预编辑后源文本的语言学特征，如长度、句法复杂度及语义显性化程度。
• 将编辑操作分类为结构类、功能类、短语级和拼写类，并使用TER（翻译编辑率）衡量其对NMT输出的影响。
• 对源文本变化与机器翻译输出变化之间的统计相关性进行分析，以评估可预测性。
• 基于TER作为主要度量指标，评估每类编辑操作对NMT输出变化幅度的影响。

实验结果

研究问题

• RQ1 预编辑后源文本的哪些语言学特征与NMT输出质量的提升最强相关？
• RQ2 不同类型的编辑操作（如结构修改、短语重排、标点符号更改）如何影响NMT输出的变化？
• RQ3 预编辑对NMT输出的影响在不同翻译方向和机器翻译系统之间在多大程度上是可预测的？
• RQ4 尽管NMT本身具有固有的不可预测性，是否存在特定编辑操作对翻译质量影响的一致性模式？

主要发现

• 提升源文本的语义显性化和句法结构显性化，比减少长度或简化句子，更能有效提升NMT质量。
• 预编辑对NMT输出的影响总体上不可预测，但某些编辑操作类型在影响翻译输出方面表现出一致的趋势。
• 结构类编辑（如重新排列从句、改变句子结构）在TER度量下导致了NMT输出的最大变化。
• 短语重排（P03）对NMT输出的影响相对较小，表明现代NMT系统在位置变动下仍能较好保持短语级等价性。
• 使用或移除短语块标记（P02）对NMT输出有显著影响，可能源于分词变化，尽管对人类可读性影响较小。
• 在日语到韩语的翻译中，观察到源文本编辑与NMT输出变化之间存在中等程度的正相关（皮尔逊相关系数 r = 0.580，斯皮尔曼等级相关系数 ρ = 0.574），表明在语系相近的语言对中可预测性更高。