[论文解读] Semi-Autoregressive Neural Machine Translation

Chunqi Wang, Ji Zhang+1 more|arXiv (Cornell University)|Aug 26, 2018

Natural Language Processing Techniques参考文献 22被引用 12

一句话总结

该论文提出了一种新型序列生成模型——半自回归Transformer（SAT），该模型在每个时间步并行生成多个词，同时保留全局自回归结构以维持翻译质量。在WMT’14英语-德语翻译任务中，SAT相较于标准Transformer实现了5.58倍的加速，BLEU得分保持在原模型的88%，当K=2时，性能几乎无损（BLEU得分下降1%）。

ABSTRACT

Existing approaches to neural machine translation are typically autoregressive models. While these models attain state-of-the-art translation quality, they are suffering from low parallelizability and thus slow at decoding long sequences. In this paper, we propose a novel model for fast sequence generation --- the semi-autoregressive Transformer (SAT). The SAT keeps the autoregressive property in global but relieves in local and thus is able to produce multiple successive words in parallel at each time step. Experiments conducted on English-German and Chinese-English translation tasks show that the SAT achieves a good balance between translation quality and decoding speed. On WMT'14 English-German translation, the SAT achieves 5.58$ imes$ speedup while maintains 88\% translation quality, significantly better than the previous non-autoregressive methods. When produces two words at each time step, the SAT is almost lossless (only 1\% degeneration in BLEU score).

研究动机与目标

• 为解决自回归神经机器翻译模型因顺序生成而导致的解码速度缓慢问题。
• 通过在局部放松自回归约束的同时保留全局自回归结构，提升并行化程度，同时不牺牲翻译质量。
• 在完全自回归模型与非自回归模型之间寻找平衡点，实现速度与质量的折中。
• 开发一种方法，实现高效且高质量的序列生成，且可推广至机器翻译以外的应用场景。
• 研究知识蒸馏与训练目标，以提升半自回归设置下长距离依赖建模能力。

提出的方法

• SAT在每个时间步使用分组级链式法则，同时生成K个连续的目标词，其中K为分组大小。
• 采用松弛的因果掩码，允许注意力机制关注同一组内的未来标记，从而减少序列依赖性。
• 通过强自回归教师模型进行序列级知识蒸馏，以稳定训练并提升性能。
• 通过修改后的训练目标减少位置相关的交叉熵损失，尤其针对远距离位置，从而增强长距离依赖建模能力。
• 模型基于Transformer编码器-解码器框架构建，对解码器的自注意力与交叉注意力机制进行修改，以支持分组生成。
• 所有分组内位置共享同一个解码器头，实现K个标记的并行预测，同时保持输出一致性。

实验结果

研究问题

• RQ1 半自回归生成能否在解码速度与翻译质量之间实现优于完全自回归或非自回归模型的平衡？
• RQ2 在局部放松自回归约束，是否会影响模型生成流畅且准确序列的能力？
• RQ3 序列级知识蒸馏在多大程度上提升了半自回归模型的性能？
• RQ4 分组大小K如何影响序列生成中的速度-准确率权衡？
• RQ5 SAT在每步生成多个词时，是否仍能保持高流畅性与低重复率，尤其是在长序列生成中？

主要发现

• 在WMT’14英语-德语翻译任务中，SAT相较标准Transformer实现5.58倍加速，同时保持88%的BLEU得分。
• 当K=2时，SAT相比自回归Transformer仅出现1%的BLEU得分下降，表明性能近乎无损。
• 在中英翻译任务中，K=2的SAT实现1.69倍加速，同时保持参考模型97%的翻译质量。
• 在极端设置下（K=6，束搜索大小=1），SAT在中英翻译任务中实现6.41倍加速，同时保持参考模型83%的BLEU得分。
• 序列级知识蒸馏显著提升性能，尤其在较大K值时，有效缓解训练不稳定性并提升输出流畅性。
• 位置相关交叉熵分析显示周期为K的规律性模式，表明长距离依赖建模仍具挑战性，是未来改进的关键方向。