[论文解读] Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation

Chenze Shao, Yan Feng|arXiv (Cornell University)|Oct 8, 2022

Natural Language Processing Techniques被引用 12

一句话总结

本文提出非单调潜在对齐（NMLA）用于基于CTC的非自回归机器翻译，将对齐空间从单调约束扩展至非单调，以处理全局词序重排问题。通过在非单调对齐中优化n-gram匹配的F1分数，该方法在WMT14 En-De数据集上实现30.06 BLEU的单次解码性能，显著缩小了与自回归模型的差距。

ABSTRACT

Non-autoregressive translation (NAT) models are typically trained with the cross-entropy loss, which forces the model outputs to be aligned verbatim with the target sentence and will highly penalize small shifts in word positions. Latent alignment models relax the explicit alignment by marginalizing out all monotonic latent alignments with the CTC loss. However, they cannot handle non-monotonic alignments, which is non-negligible as there is typically global word reordering in machine translation. In this work, we explore non-monotonic latent alignments for NAT. We extend the alignment space to non-monotonic alignments to allow for the global word reordering and further consider all alignments that overlap with the target sentence. We non-monotonically match the alignments to the target sentence and train the latent alignment model to maximize the F1 score of non-monotonic matching. Extensive experiments on major WMT benchmarks show that our method substantially improves the translation performance of CTC-based models. Our best model achieves 30.06 BLEU on WMT14 En-De with only one-iteration decoding, closing the gap between non-autoregressive and autoregressive models.

研究动机与目标

• 为解决基于CTC的潜在对齐模型在机器翻译中难以处理非单调词序重排的局限性。
• 放松CTC训练中严格的单调对齐假设，避免对正确但顺序错乱的翻译造成惩罚。
• 通过最大化多样化对齐中的n-gram重叠F1分数，改进非自回归翻译的训练目标。
• 实现在不依赖长度预测的前提下生成可变长度输出，提升模型灵活性与性能。

提出的方法

• 将对齐空间从单调扩展至非单调对齐，以适应翻译中的全局词序重排。
• 使用匈牙利算法在模型输出与目标句之间寻找最优非单调二分匹配。
• 在所有对齐方式上引入n-gram匹配以度量重叠，聚焦于BLEU相关的n-gram覆盖率。
• 训练潜在对齐模型以最大化n-gram匹配的F1分数，替代标准的CTC或交叉熵损失。
• 将NMLA作为微调目标应用于预训练的基于CTC的NAT模型，保持快速推理能力。
• 采用可微分的匹配目标，聚合所有对齐方式中的n-gram信息，无论其位置如何，从而实现稳健优化。

实验结果

研究问题

• RQ1 非单调对齐能否提升基于CTC的非自回归翻译模型性能？
• RQ2 当全局词序重排普遍存在时，放松单调对齐约束对翻译质量有何影响？
• RQ3 在多样化对齐上基于F1的n-gram匹配能否作为NAT的有效训练目标？
• RQ4 NMLA微调在多大程度上能缩小非自回归与自回归模型之间的性能差距？
• RQ5 所提方法在大规模模型（如DDRS-big）上是否具备可扩展性与有效性？

主要发现

• 所提出的NMLA方法在WMT14 En-De测试集上仅通过一次解码即达到30.06 BLEU，显著优于基线CTC模型。
• 在GLAT+CTC模型上使用NMLA进行微调，BLEU从27.07提升至27.75，证明其在小型模型上的有效性。
• 在大型DDRS-big模型上，NMLA微调使性能从28.24 BLEU提升至29.11 BLEU，结合束搜索与语言建模后达到30.06 BLEU。
• NMLA微调步骤的训练成本极低——仅需在8张A100/3090 GPU上运行5.0小时，具有成本效益。
• 该方法有效处理了非单调对齐，解决了先前基于CTC的潜在对齐模型的关键局限。
• 结果表明，NMLA可成功应用于多种基于CTC的NAT架构，显示出强大的泛化能力与可扩展性。