[论文解读] SALTED: A Framework for SAlient Long-Tail Translation Error Detection

Vikas Raunak, Matt Post+1 more|arXiv (Cornell University)|May 20, 2022

Natural Language Processing Techniques被引用 6

一句话总结

SALTED 是一种基于规范的框架，利用高精度、规则驱动的检测器识别神经机器翻译（NMT）系统中的显著长尾翻译错误，如单位或货币翻译错误、幻觉现象以及内容遗漏。通过将这些检测器应用于大规模单语数据集，该框架实现了可靠的错误度量、训练数据过滤、基于合成数据的模型微调以及变异测试，显著减少了罕见错误，同时不损害整体性能。

ABSTRACT

Traditional machine translation (MT) metrics provide an average measure of translation quality that is insensitive to the long tail of behavioral problems in MT. Examples include translation of numbers, physical units, dropped content and hallucinations. These errors, which occur rarely and unpredictably in Neural Machine Translation (NMT), greatly undermine the reliability of state-of-the-art MT systems. Consequently, it is important to have visibility into these problems during model development. Towards this direction, we introduce SALTED, a specifications-based framework for behavioral testing of MT models that provides fine-grained views of salient long-tail errors, permitting trustworthy visibility into previously invisible problems. At the core of our approach is the development of high-precision detectors that flag errors (or alternatively, verify output correctness) between a source sentence and a system output. We demonstrate that such detectors could be used not just to identify salient long-tail errors in MT systems, but also for higher-recall filtering of the training data, fixing targeted errors with model fine-tuning in NMT and generating novel data for metamorphic testing to elicit further bugs in models.

研究动机与目标

• 解决现有 NMT 系统中对罕见但影响重大的翻译错误（如幻觉、内容遗漏、单位误译）缺乏细粒度可见性的问题。
• 克服传统指标和基于参考译文的评估方法的局限性，这些方法因错误的稀有性和上下文依赖性而无法检测长尾错误。
• 开发一种可扩展的、基于规范的方法，实现对显著长尾错误的可信度量与检测，且无需参考译文。
• 展示检测器在错误检测之外的实用价值，包括训练数据过滤、系统对比以及基于合成数据的微调。
• 提供一种原则化的 NMT 系统行为测试框架，具备鲁棒性、精确性，并可在不同模型和数据集间通用化。

提出的方法

• 为七类错误（如物理单位、货币、数值、幻觉等）设计行为规范，明确定义正确的翻译行为。
• 开发高精度检测器作为基于规则的算法，评估源-目标句对，并返回布尔值以指示错误是否存在，且误报率极低。
• 通过开发集迭代优化检测器，实现近乎完美的精确度，确保其在度量和下游应用中的可靠性。
• 将检测器应用于大规模单语测试集，以大规模识别和度量长尾错误，实现可信的错误可见性。
• 利用检测器过滤训练数据以实现更高召回率的错误检测，并生成一个包含正确示例的合成“元语料库”用于微调。
• 在来自元语料库的真实数据与合成数据的混合数据上微调 NMT 模型，以纠正特定错误类型，如物理单位误译。

实验结果

研究问题

• RQ1 高精度、基于规则的检测器能否以极低误报率检测 NMT 系统中的显著长尾翻译错误？
• RQ2 此类检测器能否在大规模、未标注的单语数据集中可靠地度量罕见错误类型？
• RQ3 检测器在训练数据过滤和模型微调方面，能在多大程度上实现针对特定错误的纠正？
• RQ4 通过检测器生成的合成数据能否在不降低整体性能的前提下改善模型在特定错误类别上的表现？
• RQ5 为何神经机器翻译质量估计模型（如 COMET）在存在长尾错误时仍无法区分正确与错误的翻译？

主要发现

• 检测器实现了近乎完美的精确度，使得在大规模单语数据中可信地度量长尾错误成为可能，即使错误稀有且具有上下文敏感性。
• 仅使用元语料库中 10K–20K 个合成示例进行微调，便使物理单位翻译错误减少了 50%以上，同时在 WMT20 测试集上保持了整体模型性能。
• 该框架成功识别并纠正了研究型与商业型 NMT 系统中的特定错误类型，如单位误译和幻觉现象。
• 神经质量估计模型（如 COMET）在存在长尾错误时无法区分正确与错误的翻译，凸显了神经度量方法的根本局限性。
• 元语料库生成过程产生了高质量的合成数据，有效教会模型纠正特定的标记级错误，如单位和货币翻译错误。
• 检测器在多种系统和数据集上均表现有效，证明了其广泛适用性和可重用性，超越单一模型的局限。