[论文解读] Topic-Aware Abstractive Text Summarization.

Chujie Zheng, Kunpeng Zhang+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling被引用 11

一句话总结

本文提出主题感知生成式摘要（TAAS），一种通过注意力机制将神经主题建模整合到基于Transformer的编码器-解码器架构中的框架，以捕捉文档的全局语义。TAAS在ROUGE-1、ROUGE-2和ROUGE-L上分别优于BART 2%、8%和12%，同时以显著更低的计算成本实现了与PEGASUS和ProphetNet相当的性能。

ABSTRACT

Automatic text summarization aims at condensing a document to a shorter version while preserving the key information. Different from extractive summarization which simply selects text fragments from the document, abstractive summarization generates the summary in a word-by-word manner. Most current state-of-the-art (SOTA) abstractive summarization methods are based on the Transformer-based encoder-decoder architecture and focus on novel self-supervised objectives in pre-training. While these models well capture the contextual information among words in documents, little attention has been paid to incorporating global semantics to better fine-tune for the downstream abstractive summarization task. In this study, we propose a topic-aware abstractive summarization (TAAS) framework by leveraging the underlying semantic structure of documents represented by their latent topics. Specifically, TAAS seamlessly incorporates a neural topic modeling into an encoder-decoder based sequence generation procedure via attention for summarization. This design is able to learn and preserve global semantics of documents and thus makes summarization effective, which has been proved by our experiments on real-world datasets. As compared to several cutting-edge baseline methods, we show that TAAS outperforms BART, a well-recognized SOTA model, by 2%, 8%, and 12% regarding the F measure of ROUGE-1, ROUGE-2, and ROUGE-L, respectively. TAAS also achieves comparable performance to PEGASUS and ProphetNet, which is difficult to accomplish given that training PEGASUS and ProphetNet requires enormous computing capacity beyond what we used in this study.

研究动机与目标

• 解决当前生成式摘要模型在捕捉文档全局语义结构方面的局限性。
• 通过引入潜在主题表征作为全局上下文，改进生成式摘要的微调。
• 开发一种方法，在不依赖大量计算资源的情况下提升摘要生成的有效性。
• 在使用更少训练资源的前提下，实现与PEGASUS和ProphetNet等最先进模型相当的性能。
• 证明主题感知建模能够提升生成式摘要任务中的ROUGE分数。

提出的方法

• 将神经主题建模集成到编码器-解码器注意力机制中，以在摘要生成过程中注入全局主题级语义。
• 采用主题感知注意力机制，在解码过程中同时关注文档内容和潜在主题表征。
• 利用注意力机制动态对齐生成的摘要标记与文档中的相关主题。
• 采用标准生成式摘要目标端到端训练模型，同时联合优化主题一致性。
• 采用基于变分自编码器的神经主题模型，从输入文档中推断潜在主题。
• 设计统一架构，使主题表征基于编码器输出生成，并在解码过程中参与注意力计算。

实验结果

研究问题

• RQ1 引入潜在主题表征是否能提升生成式摘要模型对全局语义的理解能力？
• RQ2 与标准Transformer模型相比，主题感知注意力机制是否能带来更高的ROUGE分数？
• RQ3 TAAS是否能在不依赖大量计算资源的情况下，实现与PEGASUS和ProphetNet相当的性能？
• RQ4 主题建模的整合如何影响生成摘要的一致性和信息量？
• RQ5 模型在多大程度上受益于超越局部词级上下文的全局语义信号？

主要发现

• TAAS在ROUGE-1上优于BART 2%，在ROUGE-2上优于8%，在ROUGE-L上优于12%，显著提升了摘要质量。
• 尽管计算容量显著更低，该模型仍实现了与PEGASUS和ProphetNet相当的性能。
• 主题建模的整合增强了模型保持全局语义的能力，使生成的摘要更具连贯性和信息量。
• 主题感知注意力机制有效引导解码器生成与文档关键主题对齐的摘要标记。
• 该框架在多种真实世界数据集上均保持强大性能，证实了其鲁棒性和泛化能力。
• 该方法表明，来自主题建模的全局语义信号可显著提升生成式摘要性能，而无需大规模预训练。