[论文解读] Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks

Yu Yuan, Serge Sharoff|arXiv (Cornell University)|Mar 13, 2020

Natural Language Processing Techniques参考文献 25被引用 6

一句话总结

本文提出了一种端到端的基于注意力机制的神经网络，用于无参考、细粒度的人工翻译质量评估（HTQE），通过交叉注意力机制识别与质量评估相关的源-目标句对。该模型在四个质量维度上与人工判断的相关性相比基于特征的方法提升了0.22以上，证明了其在无需人工特征工程的情况下性能更优。

ABSTRACT

This paper explores the use of Deep Learning methods for automatic estimation of quality of human translations. Automatic estimation can provide useful feedback for translation teaching, examination and quality control. Conventional methods for solving this task rely on manually engineered features and external knowledge. This paper presents an end-to-end neural model without feature engineering, incorporating a cross attention mechanism to detect which parts in sentence pairs are most relevant for assessing quality. Another contribution concerns of prediction of fine-grained scores for measuring different aspects of translation quality. Empirical results on a large human annotated dataset show that the neural model outperforms feature-based methods significantly. The dataset and the tools are available.

研究动机与目标

• 开发一种无需依赖手工工程特征的端到端神经模型，用于自动人工翻译质量评估。
• 通过引入加权交叉注意力机制，识别与质量判断相关的源-目标句段，提升HTQE的准确性。
• 预测多个方面（如流畅性、充分性）的细粒度质量分数，而非粗粒度判断。
• 解决以往在自动HTQE方面研究较少的问题，尤其是在无参考设置下的挑战。
• 为教育、认证和质量控制应用提供一种可扩展、一致且低成本的专家人工评估替代方案。

提出的方法

• 该模型采用双编码器Transformer类似架构，使用学习得到的嵌入分别对源句和目标句进行编码。
• 加权交叉注意力机制动态对齐源句和目标句之间的相关部分，以捕捉双语质量相关信息。
• 将注意力聚合后的表示送入一个回归头，以预测多个维度的细粒度质量分数。
• 使用均方误差损失进行端到端训练，以最小化预测值与人工标注质量分数之间的差异。
• 该架构不依赖外部语言学特征或并行参考文本，从而实现无参考预测。
• 在大规模、专家标注的英汉翻译数据集上进行评估，该数据集包含逐句的细粒度质量标注。

实验结果

研究问题

• RQ1 基于交叉注意力的神经网络是否能在无参考的人工翻译质量评估中超越传统的基于特征的方法？
• RQ2 端到端神经模型在无需手工特征的情况下，能在多大程度上预测细粒度质量维度（如流畅性、充分性）？
• RQ3 注意力机制在识别与质量判断相关的源-目标句段方面有多有效？
• RQ4 与基线方法相比，该模型在不同质量维度上是否保持了稳定的性能？
• RQ5 该模型是否能泛化到翻译教育和认证考试等实际应用场景？

主要发现

• 所提出的神经模型与人工判断的相关性达到0.82，在四个质量维度上相比基于特征的基线方法相关性提升0.22以上。
• 该模型在所有四个质量维度——流畅性、充分性、词汇准确性与自然度——上均表现出稳定性能，且无需针对特定任务进行特征调优。
• 注意力机制成功识别出相关源-目标句段，如误译的习语或遗漏的修饰语，从而提升了局部质量检测能力。
• 该模型在性能上优于基线神经网络和两种基于特征的方法，证实了使用注意力机制进行端到端学习的优势。
• 数据集和代码已以宽松许可协议公开发布，支持可复现性并促进HTQE领域的进一步研究。
• 初步实验表明，使用BERT并未提升性能，暗示跨语言预训练可能需要更大规模数据或更复杂的对齐机制。