[论文解读] Multiscale Collaborative Deep Models for Neural Machine Translation

Xiangpeng Wei, Heng Yu+4 more|arXiv (Cornell University)|Apr 29, 2020

Natural Language Processing Techniques参考文献 44被引用 7

一句话总结

本文提出一种多尺度协同（Msc）框架，通过块尺度与上下文尺度的协同机制，增强梯度流动与表征学习，从而训练极深的神经机器翻译（NMT）模型。该方法使72层编码器在IWSLT上实现+2.2–3.1 BLEU的性能提升，并在WMT14 En→De数据集上达到30.56的BLEU分数，优于参数更少的当前最优深度NMT模型。

ABSTRACT

Recent evidence reveals that Neural Machine Translation (NMT) models with deeper neural networks can be more effective but are difficult to train. In this paper, we present a MultiScale Collaborative (MSC) framework to ease the training of NMT models that are substantially deeper than those used previously. We explicitly boost the gradient back-propagation from top to bottom levels by introducing a block-scale collaboration mechanism into deep NMT models. Then, instead of forcing the whole encoder stack directly learns a desired representation, we let each encoder block learns a fine-grained representation and enhance it by encoding spatial dependencies using a context-scale collaboration. We provide empirical evidence showing that the MSC nets are easy to optimize and can obtain improvements of translation quality from considerably increased depth. On IWSLT translation tasks with three translation directions, our extremely deep models (with 72-layer encoders) surpass strong baselines by +2.2~+3.1 BLEU points. In addition, our deep MSC achieves a BLEU score of 30.56 on WMT14 English-German task that significantly outperforms state-of-the-art deep NMT models.

研究动机与目标

• 解决因梯度消失和深层结构中误差反向传播不畅导致的深度NMT模型性能退化问题。
• 在不出现性能饱和或下降的情况下，实现远超30–40层的NMT模型训练。
• 通过允许每个编码器块学习细粒度特征并利用空间依赖性建模加以增强，提升表征学习能力。
• 协调解码器注意力机制，使其同时关注局部编码器块输出与多尺度上下文表征。
• 证明当模型深度得到合理优化时，可显著提升翻译质量，超越浅层模型的性能。

提出的方法

• 引入一种块尺度协同机制，显式增强深层编码器堆栈中从顶层到底层的梯度反向传播。
• 采用一种上下文尺度协同模块，通过自下而上的网络编码空间依赖性，增强每个编码器块的表征能力。
• 使用多尺度注意力机制，使解码器同时关注对应的编码器块以及具有空间依赖性的上下文表征。
• 在编码器块之间应用残差风格连接，其中每个块的输出通过低层特征的上下文感知聚合进行增强。
• 采用门控特征融合机制（非逐元素相加）组合表征，提升表征质量与训练稳定性。
• 采用预归一化残差连接与层归一化，以在深层架构中稳定训练，与先前工作一致，但整合于多尺度协同框架之中。

实验结果

研究问题

• RQ1 能否在不出现性能退化的情况下，有效训练极深的NMT模型（如72层编码器）？
• RQ2 在编码器块之间引入多尺度协同是否能改善深层NMT模型中的梯度流动与表征学习？
• RQ3 所提出的Msc框架是否能在参数更少的情况下，实现优于强基线与先前深度NMT模型的翻译质量？
• RQ4 上下文表征与局部表征的融合如何影响深层NMT模型的性能？
• RQ5 深度带来的性能提升是源于模型容量，还是源于架构设计带来的更优优化能力？

主要发现

• Msc框架使72层NMT编码器能够有效训练，在WMT14英语到德语翻译任务上达到30.56的BLEU分数，超越当前最优的深度NMT模型。
• 在包含三个语种对的IWSLT翻译任务中，深度Msc模型相比强基线模型取得+2.2至+3.1 BLEU的性能提升。
• 消融实验表明，若移除上下文协同或Cxt-Enc注意力机制，BLEU分数将下降约0.7分，证实多尺度协同的重要性。
• 若将上下文协同单元替换为简单的前馈网络（FFN），性能下降0.5 BLEU，表明所设计模块的必要性。
• 即使参数量相同或翻倍，浅层Msc模型（18层或36层）的表现仍逊于72层模型，证明性能提升源于深度而非参数数量。
• 采用简单逐元素相加进行特征融合的模型仅取得29.45 BLEU，低于最优结果，表明门控融合机制对性能至关重要。