[论文解读] Reward Optimization for Neural Machine Translation with Learned Metrics

Raphael Shu, Kang Min Yoo+1 more|arXiv (Cornell University)|Apr 15, 2021

Natural Language Processing Techniques参考文献 45被引用 6

一句话总结

本文提出一种对比边缘损失（contrastive-margin loss），用于基于前沿学习度量BLEURT的神经机器翻译（NMT）奖励优化，实现大模型下的快速且稳定的训练。实验结果表明，使用BLEURT进行训练在BLEURT得分上实现了超过10%的相对提升，同时改善了人工评估的流畅性与覆盖度；而使用平滑BLEU进行训练则仅带来有限提升，且常导致BLEU得分下降。

ABSTRACT

Neural machine translation (NMT) models are conventionally trained with token-level negative log-likelihood (NLL), which does not guarantee that the generated translations will be optimized for a selected sequence-level evaluation metric. Multiple approaches are proposed to train NMT with BLEU as the reward, in order to directly improve the metric. However, it was reported that the gain in BLEU does not translate to real quality improvement, limiting the application in industry. Recently, it became clear to the community that BLEU has a low correlation with human judgment when dealing with state-of-the-art models. This leads to the emerging of model-based evaluation metrics. These new metrics are shown to have a much higher human correlation. In this paper, we investigate whether it is beneficial to optimize NMT models with the state-of-the-art model-based metric, BLEURT. We propose a contrastive-margin loss for fast and stable reward optimization suitable for large NMT models. In experiments, we perform automatic and human evaluations to compare models trained with smoothed BLEU and BLEURT to the baseline models. Results show that the reward optimization with BLEURT is able to increase the metric scores by a large margin, in contrast to limited gain when training with smoothed BLEU. The human evaluation shows that models trained with BLEURT improve adequacy and coverage of translations. Code is available via https://github.com/naver-ai/MetricMT.

研究动机与目标

• 探究使用学习度量BLEURT优化NMT模型是否能带来超越BLEU的翻译质量实质性提升。
• 解决传统奖励优化在大规模NMT与度量模型中存在不稳定及高内存消耗的问题。
• 评估使用BLEURT进行奖励优化是否相比基线模型与BLEU优化模型，能提升人工评估的流畅性、准确性和覆盖度。
• 分析BLEU与BLEURT在翻译排序上的差异，理解导致这种差异的因素。

提出的方法

• 提出一种对比边缘损失，仅对候选集中最优和最差序列计算模型得分，从而降低内存消耗并实现稳定训练。
• 采用成对排序目标，区分最优与最差翻译，避免如风险损失中需对全部N个候选序列进行评分的需要。
• 利用BLEURT作为奖励信号，通过强化学习微调NMT模型，借助其与人类判断的高相关性。
• 端到端训练对比边缘损失与NMT模型，使用合成数据及WMT度量共享任务中的人工标注分数来训练BLEURT。
• 通过BLEURT与平滑BLEU进行自动评估，并在四个语种对上开展关于准确性、流畅性与覆盖度的成对人工评估。

实验结果

研究问题

• RQ1 与使用平滑BLEU训练相比，使用BLEURT优化NMT模型是否能在自动评估与人工评估指标上带来可测量的提升？
• RQ2 对比边缘损失能否实现大规模NMT与度量模型的稳定且高效的奖励优化？
• RQ3 BLEURT优化后的翻译相比基线模型与BLEU优化模型，在准确性和覆盖度方面改善程度如何？
• RQ4 为何BLEURT在评分翻译时与BLEU存在显著差异？其背后的语言学因素是什么？

主要发现

• 使用BLEURT进行奖励优化，在所有四个语种对中，BLEURT得分相对提升超过10%，充分证明了度量性能的显著提升。
• 相比之下，使用平滑BLEU训练仅在BLEU得分上带来有限提升，与先前研究结果一致：BLEU作为现代NMT模型的训练信号表现不佳。
• 人工评估显示，BLEURT优化模型在翻译准确性和覆盖度方面均有显著提升，德语-英语、俄语-英语与日语-英语语种对中，多数投票率更高。
• 定性分析表明，在40个样本中，25个BLEURT得分高而BLEU提升低的翻译在语义、词序或覆盖度方面表现更优，表明质量提升具有实际意义。
• 研究发现存在一种风险：当出现罕见词汇时，BLEURT可能对翻译给出异常高的或低的评分，例如在微小词汇变化下，尽管翻译质量相似，但得分却发生剧烈波动。