[论文解读] Topic Augmented Generator for Abstractive Summarization

Melissa Ailem, Bowen Zhang+1 more|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 19被引用 17

一句话总结

本文提出了一种主题增强生成器（TAG）用于抽取式摘要生成，通过结合LDA推断的潜在主题来对解码器进行条件化，从而增强序列到序列模型。通过将主题建模与指针-生成网络相结合，该模型在CNN/Daily Mail和WikiHow数据集上优于当前最先进基线模型，提升了ROUGE得分，并生成了与原文档主题分布更加语义连贯的摘要。

ABSTRACT

Steady progress has been made in abstractive summarization with attention-based sequence-to-sequence learning models. In this paper, we propose a new decoder where the output summary is generated by conditioning on both the input text and the latent topics of the document. The latent topics, identified by a topic model such as LDA, reveals more global semantic information that can be used to bias the decoder to generate words. In particular, they enable the decoder to have access to additional word co-occurrence statistics captured at document corpus level. We empirically validate the advantage of the proposed approach on both the CNN/Daily Mail and the WikiHow datasets. Concretely, we attain strongly improved ROUGE scores when compared to state-of-the-art models.

研究动机与目标

• 通过引入超越局部注意力机制的全局语义信息，改进抽取式摘要生成。
• 解决当前模型在生成反映输入文本中未明确呈现的更广泛概念主题的语义连贯摘要方面的局限性。
• 探究无监督主题建模是否可作为监督神经抽取式摘要的有效归纳偏置。
• 通过增强摘要与原文档潜在主题结构的一致性，提升摘要的连贯性，尤其在参考摘要简短或稀疏的情况下。
• 证明主题增强解码可生成更具信息量且上下文准确的摘要。

提出的方法

• 该模型采用指针-生成解码器，学习在关注输入文本、从输入中复制内容以及基于LDA推断的潜在主题之间进行切换。
• 通过潜在狄利克雷分配（LDA）从输入文档中推断潜在主题，提供语料级别的词共现模式。
• 解码器的隐藏状态基于主题分布θ*进行条件化，从而生成与更广泛语义主题一致的词汇。
• 注意力机制经过修改，引入基于主题的上下文，使模型能够生成语义相关但不在输入中的OOV（未登录词）词汇。
• 该方法与覆盖机制（Cov）相结合，以防止重复并提升流畅性。
• 训练采用端到端方式，联合优化序列到序列生成与主题推断。

实验结果

研究问题

• RQ1 将LDA推断的潜在主题引入是否能提升抽取式摘要的质量？
• RQ2 主题增强解码是否能生成与原文档主要主题更加语义连贯的摘要？
• RQ3 该模型在标准基准测试上与当前最先进抽取式摘要模型相比表现如何？
• RQ4 当参考摘要过于简短、难以可靠检测主题时，主题建模是否有助于生成更具信息量的摘要？
• RQ5 引入主题信息是否能降低对输入词精确复制的依赖，同时保持事实一致性？

主要发现

• 在CNN/Daily Mail数据集上，TAG模型的ROUGE-1得分为36.48，优于基线PG模型（35.73）和PG+Cov模型（39.12）。
• 在WikiHow数据集上，TAG模型的ROUGE-1得分为26.18，超过PG模型（26.02）和PG+Cov模型（27.08）。
• TAG+Cov变体表现最佳，CNN/Daily Mail的ROUGE-1得分为40.06，WikiHow为28.36，超过Lead-3基线在ROUGE-1和ROUGE-L上的表现。
• TAG+Cov生成的摘要与原文档主题分布之间的Kullback-Leibler散度更低，表明主题连贯性更高。
• 在定性分析中，TAG+Cov生成的摘要更简洁、主题聚焦，相比PG+Cov更能有效捕捉主要思想，尤其在参考摘要过于简短的情况下。
• 在某一示例中，TAG+Cov生成了3个主要句子，而PG+Cov仅生成2个，表明其在结构与主题完整性方面有显著提升。