[论文解读] Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision

Chenyang Huang, Hao Zhou+3 more|arXiv (Cornell University)|Oct 14, 2021

Natural Language Processing Techniques被引用 23

一句话总结

该论文提出DSL，一种非自回归Transformer模型，通过逐层预测和深度监督提升翻译质量，在四项基准测试中的三项上超越自回归模型，同时将推理速度提升14.8倍。

ABSTRACT

How do we perform efficient inference while retaining high translation quality? Existing neural machine translation models, such as Transformer, achieve high performance, but they decode words one by one, which is inefficient. Recent non-autoregressive translation models speed up the inference, but their quality is still inferior. In this work, we propose DSLP, a highly efficient and high-performance model for machine translation. The key insight is to train a non-autoregressive Transformer with Deep Supervision and feed additional Layer-wise Predictions. We conducted extensive experiments on four translation tasks (both directions of WMT'14 EN-DE and WMT'16 EN-RO). Results show that our approach consistently improves the BLEU scores compared with respective base models. Specifically, our best variant outperforms the autoregressive model on three translation tasks, while being 14.8 times more efficient in inference.

研究动机与目标

• 通过在不牺牲推理速度的前提下改进非自回归模型，解决神经机器翻译中的质量-效率权衡问题。
• 克服标准非自回归Transformer的局限性，其并行生成所有标记且缺乏序列校准，导致输出不一致或重复。
• 通过在每个解码器层引入预测，实现中间预测对后续层的指导与优化，从而提升模型校准能力。
• 通过应用深度监督和混合训练策略，提升训练稳定性和性能，其中中间预测部分由真实目标标记监督。
• 在多种基础非自回归模型（原始NAT、CMLM、GLAT、CTC）上，于多样化翻译任务中验证该框架的通用性与有效性。

提出的方法

• 在非自回归Transformer中引入逐层预测，使每个解码器层对目标序列生成预测，通过网络深度逐步优化输出。
• 通过训练每个解码器层预测真实目标序列，实施深度监督，确保中间预测具有依据且有意义。
• 采用混合训练策略，在训练过程中结合真实目标标记与逐层预测，使用可学习的混合比例（设定为0.3），提升训练稳定性和性能。
• 以标准Transformer架构为骨干，通过修改使其支持中间预测的前向传递，并在后续层中加以利用以实现校准。
• 通过自回归教师模型的知识蒸馏，指导非自回归学生模型的训练，提升对齐效果并减少模式崩溃。
• 采用BPE分词，并在WMT’14 EN–DE、WMT’16 EN–RO及其反向方向上进行评估，以检验模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 逐层预测与深度监督是否能在不牺牲推理速度的前提下显著提升非自回归翻译的质量？
• RQ2 在解码器各层引入中间预测是否能实现有意义的校准，从而减少生成序列中的重复与不一致？
• RQ3 混合训练策略（即部分用真实目标标记替换中间预测）如何影响模型收敛与最终性能？
• RQ4 DSL框架是否能在BLEU得分上超越标准非自回归模型，甚至超越其自回归教师模型，同时保持高推理效率？
• RQ5 所提方法是否在不同基础非自回归架构（如CTC、GLAT、CMLM）及不同翻译方向上均具有泛化能力？

主要发现

• DSL在所有四项翻译任务（WMT’14 EN–DE、DE–EN，WMT’16 EN–RO、RO–EN）中均一致提升BLEU分数，相对于基线模型提升超过1 BLEU点。
• 最佳DSL变体（采用CTC与混合训练）在WMT’14 EN–DE上取得30.8的BLEU分数，超过自回归教师模型的30.7分。
• 在四项基准数据集中的三项上，DSL模型的表现优于其自回归教师模型，表明非自回归模型可超越自回归基线的质量表现。
• 与自回归教师模型相比，该模型实现14.8倍的推理加速，同时保持高质量输出。
• 词重复率从早期层到最终层显著下降（例如，最终层低于15%），证实深层网络有效实现了校准。
• 混合比例为0.3时性能最优，而将混合比例逐渐降低至零会损害最终结果，表明训练过程中部分真实标签监督对模型性能至关重要。