[论文解读] Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation

Changtong Zan, Liang Ding+5 more|arXiv (Cornell University)|Sep 28, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本文提出 UNIONS，一种通过在负样本（即源语言与目标语言 ID 不匹配）上应用去 likelihood 调整来改进零样本翻译的方法，从而减少错误翻译。通过在微调过程中最小化这些不匹配情况的概率，UNIONS 提升了语言 ID 的导航能力，在 WMT-5 上平均将错误目标比例降低 48.0%，BLEU 分数提升 +9.1，且训练成本仅增加 0.3%。

ABSTRACT

Zero-shot translation (ZST), which is generally based on a multilingual neural machine translation model, aims to translate between unseen language pairs in training data. The common practice to guide the zero-shot language mapping during inference is to deliberately insert the source and target language IDs, e.g., for English and for German. Recent studies have shown that language IDs sometimes fail to navigate the ZST task, making them suffer from the off-target problem (non-target language words exist in the generated translation) and, therefore, difficult to apply the current multilingual translation model to a broad range of zero-shot language scenarios. To understand when and why the navigation capabilities of language IDs are weakened, we compare two extreme decoder input cases in the ZST directions: Off-Target (OFF) and On-Target (ON) cases. By contrastively visualizing the contextual word representations (CWRs) of these cases with teacher forcing, we show that 1) the CWRs of different languages are effectively distributed in separate regions when the sentence and ID are matched (ON setting), and 2) if the sentence and ID are unmatched (OFF setting), the CWRs of different languages are chaotically distributed. Our analyses suggest that although they work well in ideal ON settings, language IDs become fragile and lose their navigation ability when faced with off-target tokens, which commonly exist during inference but are rare in training scenarios. In response, we employ unlikelihood tuning on the negative (OFF) samples to minimize their probability such that the language IDs can discriminate between the on- and off-target tokens during training. Experiments spanning 40 ZST directions show that our method reduces the off-target ratio by -48.0% on average, leading to a +9.1 BLEU improvement with only an extra +0.3% tuning cost.

研究动机与目标

• 解决零样本翻译中的错误目标问题，即在推理过程中由于源-目标语言 ID 对不匹配，导致语言 ID 无法有效引导模型。
• 探究为何在训练中表现良好的语言 ID 在零样本设置下会丧失导航能力，尽管其在理想的目标内条件下表现良好。
• 提升多语言神经机器翻译（MNMT）模型对错误目标标记的鲁棒性，这些标记在推理中常见，但在训练中罕见。
• 开发一种轻量级、高效的微调方法，以提升 ZST 性能，且无需架构修改或大规模重新训练。
• 证明在错误目标（负样本）上应用去 likelihood 调整可恢复语言 ID 在 ZST 中的导航能力，尤其在真实推理环境下表现显著。

提出的方法

• 定义两种极端解码器输入情形：目标内（源与目标语言 ID 匹配）和错误目标（源与目标语言 ID 不匹配），以分析模型行为。
• 使用教师强制对比可视化目标内与错误目标设置下的上下文词表示（CWR），揭示在错误目标条件下 CWR 分布呈现混沌状态。
• 应用去 likelihood 调整，以最小化训练过程中生成错误目标标记的概率，从而有效抑制模型生成非目标语言词汇。
• 通过在少量合成负样本（即不匹配的语言 ID 对）上添加额外的去 likelihood 损失，对任意预训练 MNMT 模型进行微调，计算开销极低。
• 引入验证指标 $σ_{\text{sep}}$，以选择在降低 OTR 与提升 BLEU 之间取得平衡的最优检查点，避免对去 likelihood 损失的过拟合。
• 在多个基准数据集（IWSLT、OPUS-100、WMT-5、TED）上进行训练，以评估在 40 个零样本翻译方向上的泛化能力。

Figure 1: Zero-shot translation ( ZST ) aims to transfer the navigation ability of the target language ID into translation directions that do not exist in the training process.

实验结果

研究问题

• RQ1 为何语言 ID 在理想的目标内训练场景下表现良好，但在零样本推理中却无法有效引导翻译模型？
• RQ2 在零样本翻译中，目标内与错误目标设置下的上下文词表示（CWR）有何差异？
• RQ3 在错误目标（负样本）上应用去 likelihood 调整，能否恢复多语言翻译模型中语言 ID 的导航能力？
• RQ4 在 ZST 中对负样本应用去 likelihood 调整时，性能提升与计算成本之间的权衡如何？
• RQ5 所提出方法是否在多样化的多语言翻译基准和语言对（包括低资源及非英语中心语言对）上具有泛化能力？

主要发现

• UNIONS 在 IWSLT、OPUS-100（v1.0）、WMT-5 和 TED 基准上，40 个零样本翻译方向的平均错误目标比例降低了 48.0%。
• 该方法在 WMT-5 上将 BLEU 分数提升 +9.1，训练成本仅增加 0.3%，展现出极高的效率。
• UNIONS 微调后，错误目标设置下的不同语言 CWR 明显分离，与目标内和监督设置下的清晰聚类一致。
• OTR 分数从基线 MNMT 的 19.2 降至 UNIONS 的 2.5，证实错误目标生成显著减少。
• UNIONS 的训练成本可忽略不计：在 OPUS-100（v1.0）上仅为原始 MNMT 训练成本的 1.8%，在 WMT-5 上仅为 0.3%。
• 该方法在多样化数据集和翻译方向上均有效，且在更大规模数据集上表现更强增益，表明其在工业应用中的可扩展性。