[论文解读] Translation Quality Assessment: A Brief Survey on Manual and Automatic Methods

Lifeng Han, Gareth J. F. Jones+1 more|arXiv (Cornell University)|May 5, 2021

Natural Language Processing Techniques参考文献 131被引用 14

一句话总结

本文全面而简洁地综述了人工与自动翻译质量评估（TQA）方法，将其分类为传统与先进框架。评估了人类判断标准（如流畅性、充分性、理解度）以及自动化指标（如n-gram、基于语言特征的指标、深度学习模型），并强调了其在机器翻译研究及文本摘要、生成等更广泛自然语言处理任务中的作用。

ABSTRACT

To facilitate effective translation modeling and translation studies, one of the crucial questions to address is how to assess translation quality. From the perspectives of accuracy, reliability, repeatability and cost, translation quality assessment (TQA) itself is a rich and challenging task. In this work, we present a high-level and concise survey of TQA methods, including both manual judgement criteria and automated evaluation metrics, which we classify into further detailed sub-categories. We hope that this work will be an asset for both translation model researchers and quality assessment researchers. In addition, we hope that it will enable practitioners to quickly develop a better understanding of the conventional TQA field, and to find corresponding closely relevant evaluation solutions for their own needs. This work may also serve inspire further development of quality assessment and evaluation methodologies for other natural language processing (NLP) tasks in addition to machine translation (MT), such as automatic text summarization (ATS), natural language understanding (NLU) and natural language generation (NLG).

研究动机与目标

• 为机器翻译与自然语言处理领域的研究人员提供翻译质量评估（TQA）方法的结构化概述。
• 对人工评估技术进行分类与比较，包括传统方法（如流畅性、充分性）与高级方法（如后编辑、众包直接评估）。
• 分析自动化TQA指标，将其划分为n-gram匹配、语言特征整合与深度学习模型三类。
• 强调TQA方法论在文本摘要、自然语言理解与生成等相关自然语言处理任务中的相关性。
• 通过阐明每种TQA技术的优势、局限与应用场景，支持研究人员选择合适的评估方法。

提出的方法

• 将人工评估分为传统方法（可理解性、忠实度、流畅性、充分性、理解度）与高级方法（任务导向型、后编辑、片段排序、众包直接评估）两类。
• 将自动化TQA分为三个层级：n-gram表面匹配（如BLEU、WER、PER、TER）、语言特征整合（如NIST、METEOR、F-measure）与深度学习模型（如LEPOR、hLEPOR、nLEPOR）。
• 提出DeltaAvg指标用于排名评估，该指标通过外部参考值评估所提出排名的价值，无需依赖标准答案排名。
• 使用标准回归指标——平均绝对误差（MAE）与均方根误差（RMSE）——评估质量估计（QE）得分与标准答案之间的差异。
• 给出关键指标的数学表达式，包括BLEU（含双语评估惩罚）、METEOR（含长度与位置惩罚）以及LEPOR（精确率与召回率的调和平均，含惩罚项）。
• 综述质量估计（QE）的最新进展，包括弱监督与无监督QE模型，以及WMT2019与QE共享任务（Fonseca et al., 2019；Specia et al., 2020）等。

实验结果

研究问题

• RQ1 传统与高级人工评估方法在翻译质量评估中的标准与应用场景有何不同？
• RQ2 机器翻译评估中使用的关键自动化指标有哪些？它们在设计与性能上如何区别？
• RQ3 基于深度学习的指标（如LEPOR及其变体）如何优于传统的n-gram与基于语言特征的指标？
• RQ4 在低资源或无参考文本设置下，质量估计（QE）指标在多大程度上可作为传统基于参考文本评估的替代方案？
• RQ5 TQA方法论如何被调整并应用于其他自然语言处理任务，如文本摘要、自然语言生成与理解？

主要发现

• DeltaAvg指标提供了一种无需标准答案排名的参考无关型排名相关性评估方法，通过外部参考值评估所提排名的价值。
• MAE与RMSE是有效、确定且可解释的指标，用于质量估计，其中MAE作为主要指标，RMSE作为辅助指标。
• LEPOR及其变体（nLEPOR、hLEPOR）通过引入长度惩罚、位置差异与精确率与召回率的调和平均，优于传统指标。
• 质量估计（QE）的最新进展已实现无参考文本评估，WMT2019等共享任务已将QE整合进主流机器翻译评估流程。
• QE与传统机器翻译评估的融合正在发展，共享任务表明二者相互促进，提升了评估的鲁棒性。
• 综述指出，尽管深度学习模型正在推动TQA的发展，但传统指标因其可解释性与在受控环境下的稳定性，依然具有重要价值。