[论文解读] Unsupervised Pretraining for Sequence to Sequence Learning

Prajit Ramachandran, Peter J. Liu+1 more|arXiv (Cornell University)|Nov 8, 2016

Natural Language Processing Techniques参考文献 44被引用 17

一句话总结

本文提出了一种新颖的序列到序列模型无监督预训练方法，通过在单语文本上使用预训练语言模型权重初始化编码器和解码器，随后在监督数据和单语语言建模损失上进行联合微调。该方法显著提升了泛化能力，在WMT英语到德语翻译任务上实现了1.3 BLEU的性能提升，并在抽取式摘要任务中获得了更优的人工评估得分。

ABSTRACT

This work presents a general unsupervised learning method to improve the accuracy of sequence to sequence (seq2seq) models. In our method, the weights of the encoder and decoder of a seq2seq model are initialized with the pretrained weights of two language models and then fine-tuned with labeled data. We apply this method to challenging benchmarks in machine translation and abstractive summarization and find that it significantly improves the subsequent supervised models. Our main result is that pretraining improves the generalization of seq2seq models. We achieve state-of-the art results on the WMT English$ ightarrow$German task, surpassing a range of methods using both phrase-based machine translation and neural machine translation. Our method achieves a significant improvement of 1.3 BLEU from the previous best models on both WMT'14 and WMT'15 English$ ightarrow$German. We also conduct human evaluations on abstractive summarization and find that our method outperforms a purely supervised learning baseline in a statistically significant manner.

研究动机与目标

• 解决在标注数据有限时序列到序列模型的过拟合问题。
• 通过在大规模单语文本上进行无监督预训练，提升序列到序列模型的泛化能力。
• 探究使用独立的语言模型对编码器和解码器进行预训练是否能提升序列生成任务的性能。
• 评估在训练过程中结合监督微调与持续单语语言建模损失的有效性。
• 确定预训练是否能提升模型在低资源或表达不清输入上的鲁棒性和性能。

提出的方法

• 使用单语源端文本上的语言模型对编码器进行预训练，使用单语目标端文本上的语言模型对解码器进行预训练。
• 分别使用预训练的编码器和解码器权重初始化序列到序列模型的嵌入层和RNN层。
• 使用预训练的目标端语言模型的Softmax层初始化解码器的Softmax层，以获得更优的初始化。
• 在监督数据上联合微调整个序列到序列模型，同时以相等权重继续优化单语语言建模目标。
• 应用残差连接和多层注意力机制，以进一步提升训练稳定性和性能。
• 通过消融研究分离预训练和语言建模正则化对性能的贡献。

实验结果

研究问题

• RQ1 使用预训练语言模型初始化编码器和解码器是否能提升序列到序列模型的泛化能力？
• RQ2 监督微调与持续单语语言建模损失的结合如何影响模型性能？
• RQ3 在序列生成任务中，对编码器和解码器分别进行预训练的相对贡献是什么？
• RQ4 预训练是否能提升在低资源或表达不清输入序列上的性能？
• RQ5 性能提升是源于更好的特征表示、优化过程，还是正则化效果？

主要发现

• 所提出的方法在WMT’14和WMT’15英语到德语翻译基准上，相较于之前的最先进方法，均实现了1.3 BLEU的性能提升。
• 人工评估显示，预训练模型在抽取式摘要任务中优于纯监督基线模型，其生成结果更准确且重复度更低。
• 翻译任务中的主要性能提升源于预训练特征带来的泛化能力增强，尤其在低资源设置下表现显著。
• 在抽取式摘要任务中，对编码器进行预训练可带来显著性能提升，表明长上下文表征的更好优化是关键因素。
• 预训练与持续语言建模损失的结合具有互补性，且对实现高性能至关重要。
• 消融研究证实，使用独立语言模型分别初始化编码器和解码器，比其他集成方法更有效。