[论文解读] Text Summarization with Pretrained Encoders

Yang Liu, Mirella Lapata|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 34被引用 150

一句话总结

本论文研究将基于 BERT 的编码器应用于提取式和抽象性单文档摘要，提出了一个基于文档级的 BertSum 编码器并在句子层面进行表征，并在 CNN/DailyMail、NYT、XSum 数据集上展现了最先进的结果。

ABSTRACT

Bidirectional Encoder Representations from Transformers (BERT) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several inter-sentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves state-of-the-art results across the board in both extractive and abstractive settings. Our code is available at https://github.com/nlpyang/PreSumm

研究动机与目标

• 评估预训练语言模型，特别是 BERT 如何提升文本摘要质量。
• 开发一个文档级编码器以获得适合摘要的句子表征。
• 在一个统一的基于 Bert 的框架中探索提取式和抽象式摘要。

提出的方法

• 引入 BertSum，这是一个在 BERT 基础上构建的文档级编码器，在句子起始处插入 [cls] 令牌以获得句子表征。
• 在 BertSum 上堆叠句之间的 Transformer 层，以捕捉文档级特征用于提取式选择。
• 对于抽象式摘要，使用带有预训练的 BertSum 编码器的编码器-解码器设置和随机初始化的 Transformer 解码器，并为编码器和解码器使用单独的优化器。
• 提出两阶段微调：先对编码器进行提取式摘要微调，然后再进行抽象式摘要微调。
• 采用标准训练计划进行训练，使用 dropout、标签平滑，并通过穷尽三元组阻塞的束搜索来减少重复。

实验结果

研究问题

• RQ1 预训练的 Bert 编码器是否能够产生适合提取式摘要的句子层表征？
• RQ2 如何有效地将 Bert 适配于抽象式摘要，以处理预训练编码器与随机初始化解码器之间的生成不匹配？
• RQ3 两阶段微调（提取式先于抽象式）是否提升摘要质量？
• RQ4 基于 Bert 的模型在具有不同风格的多种单文档摘要数据集上是否达到最先进的结果？

主要发现

• BertSumExt（含句间层）在 CNN/DailyMail 上相对于基线提高了提取式 ROUGE 分数。
• BertSumExtAbs 与 BertSumAbs 在抽象式 ROUGE 分数方面表现优越，在若干数据集上接近或超过现有最先进结果。
• 为编码器和解码器设定双优化器的微调计划实现了稳定训练，并确定了有利的学习率配置（最佳：编码器 lr ~2e-3，解码器 lr ~0.1）。
• 两阶段微调方法（先提取式再抽象式）相比单阶段训练带来提升。
• 在 XSum 上，基于 Bert 的抽象式模型由于数据集的更高抽象性而超越了许多基线。