[论文解读] Norm-Based Curriculum Learning for Neural Machine Translation

Xuebo Liu, Houtim Lai+2 more|arXiv (Cornell University)|Jun 3, 2020

Natural Language Processing Techniques参考文献 37被引用 8

一句话总结

本文提出了一种基于范数的课程学习方法，用于神经机器翻译（NMT），利用词嵌入范数自动确定句子难度、模型能力以及句子权重。通过将范数作为语言和模型相关难度的代理指标，该方法实现了完全自动化的课程训练，在 WMT’14 En-De 和 WMT’17 Zh-En 基准测试中，无需架构修改或额外参数，实现了 +1.17/+1.56 BLEU 的性能提升以及 2.22x/3.33x 的训练加速。

ABSTRACT

A neural machine translation (NMT) system is expensive to train, especially with high-resource settings. As the NMT architectures become deeper and wider, this issue gets worse and worse. In this paper, we aim to improve the efficiency of training an NMT by introducing a novel norm-based curriculum learning method. We use the norm (aka length or module) of a word embedding as a measure of 1) the difficulty of the sentence, 2) the competence of the model, and 3) the weight of the sentence. The norm-based sentence difficulty takes the advantages of both linguistically motivated and model-based sentence difficulties. It is easy to determine and contains learning-dependent features. The norm-based model competence makes NMT learn the curriculum in a fully automated way, while the norm-based sentence weight further enhances the learning of the vector representation of the NMT. Experimental results for the WMT'14 English-German and WMT'17 Chinese-English translation tasks demonstrate that the proposed method outperforms strong baselines in terms of BLEU score (+1.17/+1.56) and training speedup (2.22x/3.33x).

研究动机与目标

• 提升神经机器翻译系统在高资源和深层架构设置下的训练效率与性能。
• 通过自动评估难度和课程调度，解决 NMT 训练中成本高昂且依赖人工设计的课程构建挑战。
• 通过引入基于范数的句子权重，减少表示学习中的偏差，实现对不同难度句子的均衡学习。
• 开发一种完全自动化、无参数的课程学习框架，能够根据模型能力自适应调整，无需针对任务的超参数。

提出的方法

• 使用词嵌入的 L2 范数作为句子难度的代理指标，结合语言学上的简单性（如词频）与模型学习到的特征。
• 基于隐藏状态表示的范数定义模型能力，实现随着模型性能提升而自动推进课程进度。
• 在损失函数中引入与句子范数倒数成比例的句子权重，减少对高频或低范数句子的偏向。
• 在小批量采样过程中应用基于范数的课程，将批次按范数从低到高（由易到难）重新排序，并在整个训练过程中持续应用。
• 采用预训练的简单词嵌入模型计算范数，确保计算成本低且表达能力强。
• 将基于范数的课程整合到标准 NMT 训练流程中，不修改模型架构，也未引入额外参数。

实验结果

研究问题

• RQ1 词嵌入范数能否作为有效且自动化的句子难度度量，同时结合语言学特征与模型学习特征？
• RQ2 能否基于范数指标估计模型能力，以实现在 NMT 训练中完全自动化的课程推进？
• RQ3 在 NMT 中引入基于范数的句子权重，如何改善表示学习与模型泛化能力？
• RQ4 所提出的方法在标准基准测试中是否在翻译质量与训练效率方面均优于强基线模型？
• RQ5 基于范数的课程是否可普遍适用于不同 NMT 架构与语言对，而无需进行架构修改？

主要发现

• 与强基线相比，该方法在 WMT’14 英语-德语翻译任务上实现了 +1.17 BLEU 的性能提升。
• 在 WMT’17 中文-英语翻译任务上，该方法取得了 +1.56 BLEU 的性能增益，表明其在不同语言对间具有强大的泛化能力。
• 该方法在 WMT’14 En-De 上将训练时间减少了 2.22 倍，在 WMT’17 Zh-En 上减少了 3.33 倍，显示出显著的加速效果。
• 基于范数的句子权重机制提升了模型翻译复杂句子的能力，案例研究显示，原始模型会遗漏从句，而所提方法能完整翻译。
• 该方法在不修改 NMT 架构或引入额外参数的前提下实现了更优性能，具有实际部署的可行性。
• 消融实验表明，将基于能力的课程与基于范数的句子权重相结合，能最好地平衡简单与中等难度句子的学习。