[论文解读] Salience Allocation as Guidance for Abstractive Summarization

Fei Wang, Kaiqiang Song+7 more|arXiv (Cornell University)|Oct 22, 2022

Topic Modeling被引用 4

一句话总结

本文提出 Season，一种新颖的生成式摘要框架，通过显著性分配（即估计文档中每句话的重要程度）为摘要模型提供灵活、自适应的指导。通过引入显著性感知的交叉注意力机制，并利用显著性分数的期望值，Season 在多个基准测试中均提升了性能，在 CNNDM 上实现 ROUGE-1/2/L 分别提升 +2.06/1.41/1.91，在 Newsroom 上实现 +0.33/0.32/0.60 的提升，同时揭示新闻文章中自然存在的 15-50% 显著性分布。

ABSTRACT

Abstractive summarization models typically learn to capture the salient information from scratch implicitly. Recent literature adds extractive summaries as guidance for abstractive summarization models to provide hints of salient content and achieves better performance. However, extractive summaries as guidance could be over strict, leading to information loss or noisy signals. Furthermore, it cannot easily adapt to documents with various abstractiveness. As the number and allocation of salience content pieces vary, it is hard to find a fixed threshold deciding which content should be included in the guidance. In this paper, we propose a novel summarization approach with a flexible and reliable salience guidance, namely SEASON (SaliencE Allocation as Guidance for Abstractive SummarizatiON). SEASON utilizes the allocation of salience expectation to guide abstractive summarization and adapts well to articles in different abstractiveness. Automatic and human evaluations on two benchmark datasets show that the proposed method is effective and reliable. Empirical results on more than one million news articles demonstrate a natural fifteen-fifty salience split for news article sentences, providing a useful insight for composing news articles.

研究动机与目标

• 解决抽取式摘要在生成式摘要中作为僵化、嘈杂且不灵活指导的局限性。
• 开发一种更具适应性和可靠性的显著性指导机制，以适应抽象程度各异的文档。
• 通过将显著性期望融入解码器注意力机制，提升生成式摘要性能。
• 基于超过一百万篇文章的大规模数据集，实证研究新闻文章中显著性的自然分布。

提出的方法

• 在编码器之上训练一个线性分类器，基于句子与真实摘要的相似性来估计每句话的显著性。
• 通过语料统计确定的阈值，将显著性分数映射为离散程度，以平衡信息量与准确性。
• 显著性感知交叉注意力（SACA）动态控制解码器对显著性引导的编码器状态的关注程度。
• 在训练过程中，对相邻显著性程度之间应用标签平滑，以提升模型鲁棒性。
• 使用显著性概率的期望值作为更稳定可靠的显著性估计，通过锐化系数 τ 控制分布置信度。
• 该方法在基于 BART 的模型上通过最大似然估计进行评估，且兼容其他主干网络和目标函数。

实验结果

研究问题

• RQ1 显著性分配能否作为生成式摘要中抽取式摘要的更灵活、更可靠的替代指导？
• RQ2 显著性感知交叉注意力如何在抽象程度各异的文档中提升摘要性能？
• RQ3 新闻文章中的显著性自然分布是怎样的？其在大规模数据集中是否呈现一致模式？
• RQ4 标签平滑与显著性期望如何提升模型的鲁棒性与泛化能力？

主要发现

• 在 CNNDM 数据集上，Season 相较于 BART 实现了 ROUGE-1/2/L 分别提升 2.06/1.41/1.91，表明自动评估中显著提升。
• 在 Newsroom 数据集上，Season 实现了 ROUGE-1/2/L 分别提升 0.33/0.32/0.60 分，证实其在多样化设置下的有效性。
• 人工评估确认，与基线模型相比，Season 生成的摘要在准确性与连贯性方面更优，尤其在处理复杂或模糊文档时表现更佳。
• 对超过一百万篇新闻文章的实证分析揭示出稳定的 15-50% 显著性分布，其中约 15% 的句子显著突出，50% 的句子中度至高度显著，为文章撰写提供了新见解。
• 使用最优锐化系数（τ=0.5）的显著性期望使 ROUGE-1 提升 0.50 分，表明概率校准优化的显著优势。
• 案例研究显示，Season 在简洁与信息丰富型文档中均表现出良好适应性，相比抽取式引导模型，能更有效地避免过度生成与关键事实遗漏。