[论文解读] Towards Explainable Evaluation Metrics for Machine Translation

Christoph Leiter, Piyawat Lertvittayakumjorn+4 more|arXiv (Cornell University)|Jun 22, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一套可解释的机器翻译评估指标框架，主张通过透明化来克服对 BERTScore 和 COMET 等黑箱指标的不信任。文章综述了可解释性技术——特征归因、扰动分析和基于大语言模型的解释——指出其局限性，并展望下一代指标，通过忠实且自然语言形式的解释提升在自然语言处理研究中的可信度与可用性。

ABSTRACT

Unlike classical lexical overlap metrics such as BLEU, most current evaluation metrics for machine translation (for example, COMET or BERTScore) are based on black-box large language models. They often achieve strong correlations with human judgments, but recent research indicates that the lower-quality classical metrics remain dominant, one of the potential reasons being that their decision processes are more transparent. To foster more widespread acceptance of novel high-quality metrics, explainability thus becomes crucial. In this concept paper, we identify key properties as well as key goals of explainable machine translation metrics and provide a comprehensive synthesis of recent techniques, relating them to our established goals and properties. In this context, we also discuss the latest state-of-the-art approaches to explainable metrics based on generative models such as ChatGPT and GPT4. Finally, we contribute a vision of next-generation approaches, including natural language explanations. We hope that our work can help catalyze and guide future research on explainable evaluation metrics and, mediately, also contribute to better and more transparent machine translation systems.

研究动机与目标

• 解决尽管已有更优的黑箱指标，但低质量、不可解释的指标（如 BLEU）在自然语言处理研究中仍占主导地位的问题。
• 识别采用高质量指标的主要挑战，特别是因其黑箱特性导致的透明度不足和用户信任缺失。
• 系统性地对现有机器翻译评估指标的可解释性技术进行分类，重点关注特征重要性、扰动鲁棒性以及基于大语言模型的解释。
• 提出下一代可解释指标的愿景，整合自然语言解释，提升与人类判断的一致性。
• 推动可解释指标的研究，以确保在高风险应用场景中实现可信、可审计且符合法规要求的人工智能。

提出的方法

• 综述并分类现有机器翻译评估指标的可解释性技术，划分为三大范式：特征归因（如显著性图）、基于扰动的鲁棒性测试，以及大语言模型驱动的解释。
• 借鉴自然语言处理中事后可解释性的分类体系，按模型访问方式（白盒 vs. 黑盒）和解释类型（如词级高亮、错误标签）组织方法。
• 采用忠实性、与人类判断的一致性以及计算可行性等标准评估现有方法，识别现有评估实践中的空白。
• 整合近期大语言模型（如 GPT-3.5、GPT-4）的进展，实现对指标决策的自然语言解释，超越简单的词级高亮。
• 提出未来指标的愿景，结合忠实性、可解释性与人类对齐的推理，利用大语言模型生成类似推理的解释。
• 强调必须对解释本身进行严格评估，倡导使用忠实性度量以确保解释真实反映实际决策过程。

实验结果

研究问题

• RQ1 可解释的机器翻译评估指标的关键属性与目标是什么？它们与传统指标有何不同？
• RQ2 当前的可解释性技术（如特征归因和扰动分析）在解释 BERTScore 和 COMET 等先进指标得分时表现如何？
• RQ3 大语言模型（如 GPT-4）在多大程度上能够生成忠实且人类可理解的 MT 评估指标得分解释？
• RQ4 现有可解释性方法在忠实性、源句与目标句之间对应关系以及跨任务泛化能力方面存在哪些局限？
• RQ5 下一代可解释的 MT 评估指标应遵循哪些设计原则与理想特征？

主要发现

• 尽管与人类判断高度相关，当前高质量指标（如 BERTScore 和 COMET）仍因黑箱特性而使用率较低。
• 特征归因方法常无法考虑源句与目标句之间的词级对齐，导致错误高亮具有误导性。
• 基于扰动的鲁棒性检测受限于需手动定义的扰动类型，难以泛化至多样的错误模式。
• 近期基于大语言模型的方法实现了细粒度的错误标注与自然语言解释，预示着向更可解释评估的显著转变。
• 当前可解释性研究缺乏对解释忠实性的评估，削弱了可信度，并限制了其在调试和高风险应用中的实用性。
• 可解释性已不再可有可无，未来将成为高风险应用场景中实现法规合规与信任的关键，尤其在高风险翻译任务中。