[论文解读] Regressive Ensemble for Machine Translation Quality Evaluation

Michal Štefánik, Vít Novotný+1 more|arXiv (Cornell University)|Sep 15, 2021

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

该论文提出 RegEMT，一种回归集成模型，将多种机器翻译评估指标——表面、句法和语义——整合进单一线性回归框架，以提升与专家 MQM 评分的相关性。该方法在单语和零样本跨语言设置下均达到最先进性能，其新颖的无参考基线（Reg-base）优于 BLEU 和 METEOR，且在未见语言上展现出强大的迁移能力。

ABSTRACT

This work introduces a simple regressive ensemble for evaluating machine translation quality based on a set of novel and established metrics. We evaluate the ensemble using a correlation to expert-based MQM scores of the WMT 2021 Metrics workshop. In both monolingual and zero-shot cross-lingual settings, we show a significant performance improvement over single metrics. In the cross-lingual settings, we also demonstrate that an ensemble approach is well-applicable to unseen languages. Furthermore, we identify a strong reference-free baseline that consistently outperforms the commonly-used BLEU and METEOR measures and significantly improves our ensemble's performance.

研究动机与目标

• 通过结合捕捉翻译表面、句法和语义特性的多种指标，提升机器翻译质量评估性能。
• 探究集成方法是否能在零样本跨语言设置下泛化至未见语言对。
• 评估无参考表面级指标作为基线的性能，尤其与现有参考依赖型指标进行对比。
• 评估上下文嵌入与非上下文嵌入在评估性能上的影响。
• 通过集成学习利用多样化评估信号的正交性，减少单一指标的盲区。

提出的方法

• 通过在 15 项以上指标（包括 BLEU、METEOR、BERTScore、WMD、Prism 及新提出指标）的组合上训练线性回归模型，构建回归集成（RegEMT）。
• 采用逐步后向剔除法，迭代移除对 MQM 评分相关性贡献最低的指标。
• 提出 Reg-base，一种仅使用多语言 WordPiece Tokenizer 提取的源句和参考句长度特征的无参考基线。
• 使用 FastText 和基于 BERT 的上下文嵌入进行语义匹配，采用 WMD 和软余弦相似度度量进行句级相似性计算。
• 在 WMT 2021 MQM 数据集上应用集成模型，以平均人工判断结果作为黄金标准。
• 基于唯一源句进行训练/测试集划分，实现模型训练与评估，并提供开源代码与 Docker 部署以确保可复现性。

实验结果

研究问题

• RQ1 与单一指标相比，多样化指标的回归集成是否能显著提升与专家 MQM 评分的相关性？
• RQ2 此类集成是否能有效泛化至零样本跨语言设置，包括未见语言对？
• RQ3 一个简单、无参考的表面级指标（Reg-base）是否能优于 BLEU 和 METEOR 等成熟指标？
• RQ4 使用上下文嵌入是否在评估性能上持续优于非上下文嵌入或 TF-IDF 增强的嵌入？
• RQ5 集成中各指标对最终相关性的贡献程度如何？哪些指标对性能最为关键？

主要发现

• RegEMT 集成在所有语言对（包括 en-de、en-cs 及跨语言零样本设置）中，与 MQM 评分的斯皮尔曼相关性均显著高于任何单一指标。
• 无参考的 Reg-base 基线始终优于 BLEU 和 METEOR，表明多语言分词器提取的长度特征可作为评估的坚实基础。
• 消融实验表明，即使移除相关性较低的指标，集成仍保持高性能，其中 WMD-decontextualized-tfidf 和 Prism 在 en-de 设置中为最后被剔除的指标。
• 集成展现出强大的迁移能力，在未见语言对上保持高性能，表明多语言指标对泛化具有实质性贡献。
• 上下文嵌入指标（如 BERTScore 和 WMD-contextual）对集成性能贡献最大，而非上下文嵌入版本表现参差不齐，部分（如 WMD-decontextualized-tfidf）甚至较其上下文对应版本提升 16–18%。
• 集成继承了其组件的系统性偏差，例如在 en-de 语对中，单一指标的低相关性会传播至集成模型，凸显了尽管整体性能提升，仍存在关键局限。