[论文解读] TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising

Ziyi Yang, Chenguang Zhu+4 more|arXiv (Cornell University)|Jan 3, 2020

Topic Modeling参考文献 35被引用 13

一句话总结

TED 是一种预训练的无监督摘要生成模型，利用新闻文章中的导语偏置，在 2140 万篇未标注文章上进行大规模预训练，随后通过主题建模和去噪自编码器进行微调。该模型在 CNN/DM、NYT 和 Gigaword 数据集上达到最先进性能，生成的摘要高度抽象且语言流畅，优于所有先前的无监督抽象摘要模型。

ABSTRACT

Text summarization aims to extract essential information from a piece of text and transform the text into a concise version. Existing unsupervised abstractive summarization models leverage recurrent neural networks framework while the recently proposed transformer exhibits much more capability. Moreover, most of previous summarization models ignore abundant unlabeled corpora resources available for pretraining. In order to address these issues, we propose TED, a transformer-based unsupervised abstractive summarization system with pretraining on large-scale data. We first leverage the lead bias in news articles to pretrain the model on millions of unlabeled corpora. Next, we finetune TED on target domains through theme modeling and a denoising autoencoder to enhance the quality of generated summaries. Notably, TED outperforms all unsupervised abstractive baselines on NYT, CNN/DM and English Gigaword datasets with various document styles. Further analysis shows that the summaries generated by TED are highly abstractive, and each component in the objective function of TED is highly effective.

研究动机与目标

• 开发一种无需人工标注参考摘要的无监督抽象摘要模型。
• 利用新闻文章中的结构化偏置——特别是包含关键信息的导语段落——在无监督条件下进行大规模预训练。
• 通过主题建模损失进行微调，使摘要在语义上与输入文章对齐，从而提升摘要质量。
• 利用去噪自编码器提升流畅性和鲁棒性，使模型能够从被污染的输入中重建出原始文本。
• 证明基于 Transformer 的模型在大规模未标注数据上预训练，并通过结构化目标进行微调，可在无监督设置下超越监督基线模型。

提出的方法

• 通过将前几句话（导语段落）作为目标摘要，在 2140 万篇未标注的新闻文章上预训练 TED，实现自监督学习摘要能力。
• 采用 Transformer 编码器-解码器架构，以建模长距离依赖关系并生成抽象摘要。
• 引入主题建模模块，使用判别分类器强制输入文章与生成摘要之间的语义相似性。
• 应用 Gumbel-Softmax 估计器，对摘要生成中的 argmax 操作进行可微分优化，实现离散词元生成的端到端训练。
• 使用去噪自编码器，对输入文本施加噪声（如掩码、打乱等），并训练模型重建原始文本，从而提升鲁棒性和流畅性。
• 在目标领域上使用结合了预训练、主题建模和去噪目标的多目标损失对模型进行微调。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能在无需任何参考摘要的情况下实现强大的抽象摘要性能？
• RQ2 利用新闻文章中的导语偏置进行摘要模型的自监督预训练，其有效性如何？
• RQ3 主题建模和去噪自编码器在多大程度上提升了生成摘要的质量和抽象程度？
• RQ4 纯无监督模型是否能在零样本设置下超越现有的监督抽象摘要模型？
• RQ5 目标函数中的各个组件对最终摘要性能的贡献如何？

主要发现

• TED 在 CNN/DM、NYT 和英文 Gigaword 数据集上达到最先进性能，在 NYT 数据集上的 ROUGE-1 得分为 37.78，超越所有先前的无监督抽象摘要模型。
• 与从零开始训练相比，大规模未标注数据预训练使 ROUGE-1 提升超过 10%，证明了自监督预训练的有效性。
• 同时包含主题建模和去噪损失的完整模型在 NYT 数据集上达到最高的 ROUGE-1（37.78）、ROUGE-2（17.63）和 ROUGE-L（34.33）得分。
• TED 生成的摘要中，新出现的 n-gram 比例高于监督模型 PGNet，表明其尽管为无监督模型，仍具备强大的抽象能力。
• 消融实验证实，每个组件——预训练、主题建模和去噪——均显著贡献，每个组件均使 ROUGE 得分提升超过 2%。
• 模型生成的摘要流畅且语法正确，这归因于预训练和去噪目标，但偶尔会在事件的时间关系上出现误述。