[论文解读] Scoring Sentence Singletons and Pairs for Abstractive Summarization

Logan Lebanoff, Kaiqiang Song+5 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 52被引用 8

一句话总结

本文提出了一种统一框架，通过联合评分句子单例和句子对，以改进摘要生成，其核心是模拟人类对一个或两个源句进行压缩或融合的选择行为。实验证明，将内容选择与生成过程解耦可提升抽象能力，基于 BERT 的模型表现优异——尤其在选择较少句子对时，因为过度融合会损害摘要质量。

ABSTRACT

When writing a summary, humans tend to choose content from one or two sentences and merge them into a single summary sentence. However, the mechanisms behind the selection of one or multiple source sentences remain poorly understood. Sentence fusion assumes multi-sentence input; yet sentence selection methods only work with single sentences and not combinations of them. There is thus a crucial gap between sentence selection and fusion to support summarizing by both compressing single sentences and fusing pairs. This paper attempts to bridge the gap by ranking sentence singletons and pairs together in a unified space. Our proposed framework attempts to model human methodology by selecting either a single sentence or a pair of sentences, then compressing or fusing the sentence(s) to produce a summary sentence. We conduct extensive experiments on both single- and multi-document summarization datasets and report findings on sentence selection and abstraction.

研究动机与目标

• 通过联合排名句子单例和句子对，弥合抽象摘要中句子选择与句子融合之间的差距。
• 模拟人类摘要行为，即内容通常源自一个或两个句子，并通过压缩或融合生成摘要句。
• 通过将内容选择与生成过程解耦，改进抽象摘要，实现对关键内容保留的更好控制。
• 研究单例与句子对选择对抽象模型性能的影响，尤其关注抽象能力与事实一致性。
• 提供一种灵活且数据高效的方法，适用于低资源或特定领域摘要任务。

提出的方法

• 该框架使用神经表示（如 BERT）和传统向量空间模型，将句子单例和句子对编码到共享嵌入空间中。
• 通过学习到的评分函数，基于其生成高质量摘要句的可能性来评分每个单例和句子对。
• 通过连接得分最高的单例和句子对生成抽取式摘要，而抽象式摘要则通过指针-生成网络从选定的单例和句子对中解码生成。
• 该方法支持单文档和多文档摘要，并可对压缩（单例）与融合（句子对）机制进行可控分析。
• 采用混合表示策略，结合 BERT 嵌入与 TF-IDF 等稀疏特征，以提升评分的鲁棒性。
• 在 DUC-04、CNN/Daily Mail 和 XSum 数据集上，使用 ROUGE 指标（R-1、R-2、R-L、R-SU4）进行评估。

实验结果

研究问题

• RQ1 在人工编写的摘要中，有多少比例依赖于压缩单个句子，又有多少比例依赖于融合两个句子？
• RQ2 与选择单个句子相比，选择句子对在多大程度上影响抽象摘要模型的性能？
• RQ3 能否通过统一的单例与句子对评分框架，同时提升抽取式与抽象式摘要的质量？
• RQ4 源句在文档中的位置如何影响其被选中用于压缩或融合的可能性？
• RQ5 将内容选择与生成过程分离，是否能提升抽象模型的抽象能力并减少幻觉现象？

主要发现

• 在 DUC-04、CNN/Daily Mail 和 XSum 数据集中，60–85% 的摘要句是由融合一个或两个源句生成的，表明融合是人类摘要的主导策略。
• 基于 BERT 的抽取式模型（BERT-Extr）在 DUC-04 和 CNN/DM 上优于抽象式模型，表明当前抽象式模型在内容保留方面仍存在困难。
• 在 XSum 数据集上，抽象式模型优于抽取式模型，表明高抽象任务更受益于生成式建模。
• 过度选择句子对（如 CNN/DM 上达 76.9%，DUC-04 上达 100%）与抽象式性能下降相关，表明当前模型在融合任务上效率较低。
• 在人工编写的摘要中，首句显著更可能由多个源句融合而成，表明融合常用于生成高层次概览。
• XSum 由于源句位置分散，对单例和句子对的选择构成更大挑战，尤其对句子对而言。