[论文解读] Non-autoregressive Transformer by Position Learning

Yu Bao, Hao Zhou+5 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 27被引用 30

一句话总结

本文提出PNAT，一种非自回归Transformer模型，通过将词的位置显式建模为潜在变量来提升生成质量。通过使用启发式搜索和最大采样来引导位置学习，PNAT在机器翻译任务上达到最先进性能，并在改写生成任务中超越自回归模型，显著缩小了与自回归Transformer的性能差距。

ABSTRACT

Non-autoregressive models are promising on various text generation tasks. Previous work hardly considers to explicitly model the positions of generated words. However, position modeling is an essential problem in non-autoregressive text generation. In this study, we propose PNAT, which incorporates positions as a latent variable into the text generative process. Experimental results show that PNAT achieves top results on machine translation and paraphrase generation tasks, outperforming several strong baselines.

研究动机与目标

• 通过在生成过程中显式建模词的位置，解决非自回归（NAT）与自回归（AT）Transformer之间的性能差距。
• 通过将位置信息作为潜在变量引入，提升NAT的生成质量，减少输出序列中的重排问题。
• 通过操控位置潜在变量实现可控生成，为序列控制开辟新可能。
• 证明位置预测的准确性与生成性能直接相关，为未来NAT改进指明了有前景的方向。

提出的方法

• 在非自回归生成过程中引入词的位置作为潜在变量，使模型能够学习最优输出顺序。
• 采用启发式搜索过程生成位置预测的训练目标，提升训练期间的监督效果。
• 在推理阶段使用最大采样，基于预测的位置和解码器输出解码最可能的序列。
• 利用相对自注意力机制，即使在位置预测不完美时也能保持模型鲁棒性。
• 使用蒙特卡洛（MC）算法进行模型训练，以优化位置和生成词元的联合似然。
• 通过将每个词元的预测条件化在源编码和预测位置上，对标准NAT因式分解进行改进。

实验结果

研究问题

• RQ1 在非自回归生成中显式建模词的位置是否能提升序列生成任务的性能？
• RQ2 位置预测的准确性如何影响NAT模型生成序列的质量？
• RQ3 位置建模是否能在某些生成任务中实现优于自回归模型的性能？
• RQ4 将位置作为潜在变量是否能实现可控生成，例如强制特定词序？
• RQ5 在BLEU分数和推理速度方面，该方法与强基线相比表现如何？

主要发现

• PNAT在WMT14德语-英语机器翻译任务上达到最先进性能，优于多个强基线的非自回归和自回归模型。
• 在改写生成任务中，PNAT超越了自回归Transformer模型，表明位置建模可使生成质量突破自回归约束。
• 实验表明，位置预测准确率与生成质量之间存在强烈正相关关系——位置准确率越高，结果显著越好。
• 案例研究显示，使用启发式搜索位置生成的翻译与参考译文高度一致；即使预测不完美，由于相对自注意力机制，模型仍能生成合理输出。
• 由于采用非自回归解码，模型保持了高生成效率，同时实现了竞争力或更优的性能。
• 结果表明，显式位置建模是未来非自回归序列生成的有前景方向。