[论文解读] The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation

Mia Xu Chen, Orhan Fırat+10 more|arXiv (Cornell University)|Apr 25, 2018

Natural Language Processing Techniques被引用 6

一句话总结

本文提出 RNMT+，一种增强的基于 RNN 的神经机器翻译模型，结合了现代架构（如 Transformer 和 ConvS2S）中的先进训练技术——例如多头注意力、层归一化和标签平滑——应用于堆叠的双向 LSTM 编码器和单向 LSTM 解码器，使 RNMT+ 在 WMT’14 英语到法语和英语到德语基准测试中超越所有单一架构，分别取得 41.00 BLEU 和 28.49 BLEU 的成绩；进一步地，将 RNMT+ 解码器与 Transformer 风格编码器结合的混合模型，实现了 41.67 和 28.84 BLEU 的新 SOTA 结果。

ABSTRACT

The past year has witnessed rapid advances in sequence-to-sequence (seq2seq) modeling for Machine Translation (MT). The classic RNN-based approaches to MT were first out-performed by the convolutional seq2seq model, which was then out-performed by the more recent Transformer model. Each of these new approaches consists of a fundamental architecture accompanied by a set of modeling and training techniques that are in principle applicable to other seq2seq architectures. In this paper, we tease apart the new architectures and their accompanying techniques in two ways. First, we identify several key modeling and training techniques, and apply them to the RNN architecture, yielding a new RNMT+ model that outperforms all of the three fundamental architectures on the benchmark WMT'14 English to French and English to German tasks. Second, we analyze the properties of each fundamental seq2seq architecture and devise new hybrid architectures intended to combine their strengths. Our hybrid models obtain further improvements, outperforming the RNMT+ model on both benchmark datasets.

研究动机与目标

• 隔离并评估近期训练与建模技术（如标签平滑、多头注意力和层归一化）对序列到序列模型的影响。
• 通过应用这些技术改进标准 RNN 基础 NMT（RNMT）的性能，从而提出一种新模型 RNMT+。
• 探索结合 RNMT+、Transformer 和 ConvS2S 组件的混合架构，以发挥各类架构的优势。
• 通过在相同框架中训练所有模型、使用相同的数据预处理且不进行后处理，确保公平比较。
• 研究自注意力和残差连接等架构组件是否能有效跨不同模型类型迁移。

提出的方法

• 作者将 Transformer 和 ConvS2S 模型中的关键技术——特别是多头注意力、层归一化、标签平滑和同步副本训练——应用于标准 RNMT 架构。
• 他们提出了 RNMT+，一种改进的 RNMT 模型，包含堆叠的双向 LSTM 编码器、单向 LSTM 解码器，并引入多头注意力和层归一化。
• 他们设计了两种混合编码器架构：一种是级联编码器，将预训练的 RNMT+ 编码器与微调后的 Transformer 层堆叠；另一种是多列编码器，将来自独立 RNMT+ 和 Transformer 编码器的输出拼接。
• 所有实验均使用 RNMT+ 解码器，因为在消融研究中其表现优于 Transformer 解码器。
• 所有模型均在相同条件下使用 WMT’14 英语到法语和英语到德语数据集进行训练与评估，未应用任何后处理。
• 性能通过 BLEU 分数进行衡量，同时开展消融研究以分离各项技术的贡献。

实验结果

研究问题

• RQ1 如标签平滑和层归一化等近期训练技术在多大程度上提升了基于 RNN 的 NMT 模型的性能？
• RQ2 通过整合来自 Transformer 和 ConvS2S 模型的架构创新，能否显著提升标准 RNMT 的性能？
• RQ3 结合 RNMT+ 和 Transformer 模型组件的混合架构是否能实现优于其各自独立组件的翻译质量？
• RQ4 当与 RNMT+ 解码器搭配时，级联或多列编码器组件中哪种组合能实现最佳性能？
• RQ5 不同架构的相对优势（例如 RNN 在序列建模方面的优势 vs. 自注意力在长距离依赖建模方面的优势）在混合配置中如何体现？

主要发现

• RNMT+ 模型将多头注意力、层归一化及其他训练技术整合到堆叠的双向 LSTM 架构中，在 WMT’14 英语到法语任务上达到 41.00 BLEU，在英语到德语任务上达到 28.49 BLEU，优于原始 RNMT 以及 Transformer 和 ConvS2S 基线模型。
• 级联编码器在预训练 RNMT+ 编码器基础上叠加微调后的 Transformer 层，在英语到法语任务上性能提升超过 0.5 BLEU 点，达到 41.67 BLEU。
• 多列编码器通过拼接独立 RNMT+ 和 Transformer 编码器的输出，在英语到法语任务上达到 41.66 BLEU，在英语到德语任务上达到 28.84 BLEU，两项基准均创下新的 SOTA 记录。
• 在消融研究中，RNMT+ 解码器始终优于 Transformer 解码器，表明解码器架构在性能中起着关键作用，即使搭配强编码器也是如此。
• 消融研究证实，标签平滑、层归一化和同步训练等技术显著提升了所有架构的模型性能。
• 混合模型表明，将来自 Transformer 的自注意力表征能力与 RNMT+ 的序列建模优势相结合，可实现优于独立模型的翻译质量。