[论文解读] Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation

Chenze Shao, Yang Feng+4 more|arXiv (Cornell University)|Jun 22, 2019

Natural Language Processing Techniques参考文献 39被引用 12

一句话总结

本文提出两种方法，通过检索目标序列信息来增强非自回归神经机器翻译（NAT）：（1）Reinforce-NAT，一种使用方差减少强化学习算法的序列级训练方法；（2）FS-decoder，一种在顶层融合序列信息的新颖Transformer解码器。两种方法均显著提升了翻译质量——尤其在长句上——同时保持了NAT模型的快速解码速度。

ABSTRACT

Non-Autoregressive Transformer (NAT) aims to accelerate the Transformer model through discarding the autoregressive mechanism and generating target words independently, which fails to exploit the target sequential information. Over-translation and under-translation errors often occur for the above reason, especially in the long sentence translation scenario. In this paper, we propose two approaches to retrieve the target sequential information for NAT to enhance its translation ability while preserving the fast-decoding property. Firstly, we propose a sequence-level training method based on a novel reinforcement algorithm for NAT (Reinforce-NAT) to reduce the variance and stabilize the training procedure. Secondly, we propose an innovative Transformer decoder named FS-decoder to fuse the target sequential information into the top layer of the decoder. Experimental results on three translation tasks show that the Reinforce-NAT surpasses the baseline NAT system by a significant margin on BLEU without decelerating the decoding speed and the FS-decoder achieves comparable translation performance to the autoregressive Transformer with considerable speedup.

研究动机与目标

• 解决非自回归Transformer（NAT）因缺乏目标序列信息而在长句上表现不佳的问题。
• 降低NAT模型中序列级训练的训练方差，稳定强化学习中的高方差问题。
• 在保持NAT模型快速解码速度的同时，通过将序列知识整合到解码器架构中，提升翻译质量。
• 在长序列翻译任务中，实现与自回归Transformer相当的翻译质量，并获得显著提速。

提出的方法

• 提出Reinforce-NAT，一种基于改进强化学习算法的序列级训练方法，通过在策略梯度估计中使用k步基线来减少方差。
• 引入FS-decoder，一种混合Transformer解码器，其中低层并行处理token以提升速度，而顶层则关注序列依赖关系以指导词生成。
• 在训练过程中使用BLEU、GLEU和TER等序列级目标作为奖励信号，以优化流畅且准确的句子生成，而非逐token的准确率。
• 在策略梯度更新中应用k步基线，以稳定训练并降低强化学习信号的方差。
• 通过交叉熵与序列级奖励的联合训练，使NAT模型获得更好的泛化能力，并减少过翻译/欠翻译错误。
• 通过自注意力机制在解码器顶层关注先前生成的token，将序列信息整合到解码器中，实现在不进行序列解码的前提下实现上下文感知的生成。

实验结果

研究问题

• RQ1 结合方差减少的序列级强化学习能否提升非自回归NMT模型的训练稳定性和性能？
• RQ2 一种在保持并行解码的同时融合序列信息的混合解码器架构，能否实现接近自回归模型的性能？
• RQ3 所提出方法在长句上的表现如何？这些句子通常因缺乏序列上下文而使NAT模型表现不佳。
• RQ4 通过FS-decoder整合序列信息是否能显著减少过翻译和欠翻译错误？
• RQ5 所提出方法能否在提升翻译质量的同时保持NAT模型的快速推理速度？

主要发现

• 在WMT14 En→De数据集上，Reinforce-NAT将BLEU分数提升了超过3分，尤其在长句（长度 >40个词）上表现显著提升，此时NAT-Base性能急剧下降。
• 在IWSLT16 En→De数据集上，Reinforce-NAT实现了1.0的BLEU分数提升，表明该方法在更长、新闻领域句子上更具有效性。
• FS-decoder在WMT14 En→De和WMT16 En→Ro任务上，均实现了与自回归Transformer（AR-Base）相当的翻译性能，且在束搜索大小为1时保持了显著的速度优势。
• 案例研究显示，NAT-Base会产生重复词语（如“more more more”）并遗漏关键术语（如“tragic”），而Reinforce-NAT与FS-decoder显著减少了这些错误。
• 训练曲线分析表明，Reinforce-NAT中k=5提供了最佳的稳定性与性能平衡，优于k=0（方差过高）和k=10（无进一步增益）。
• NAT-Base的BLEU分数在超过40个词后显著下降，而包含序列信息的模型（Reinforce-NAT与FS-decoder）在所有长度区间均保持了强劲的性能。