[论文解读] RetrievalSum: A Retrieval Enhanced Framework for Abstractive Summarization

Chenxin An, Ming Zhong+3 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 32被引用 12

一句话总结

RetrievalSum 提出了一种检索增强的摘要生成框架，通过从训练语料库中检索语义相似的范例来增强摘要模型。通过使用密集检索器以及两种新机制——组对齐和 ROUGE 评分奖励，该模型在事实一致性、写作风格和 ROUGE 分数方面相比 BART 和 BERT 等强基线模型最高提升 4.66 分。

ABSTRACT

Existing summarization systems mostly generate summaries purely relying on the content of the source document. However, even for humans, we usually need some references or exemplars to help us fully understand the source document and write summaries in a particular format. But how to find the high-quality exemplars and incorporate them into summarization systems is still challenging and worth exploring. In this paper, we propose RetrievalSum, a novel retrieval enhanced abstractive summarization framework consisting of a dense Retriever and a Summarizer. At first, several closely related exemplars are retrieved as supplementary input to help the generation model understand the text more comprehensively. Furthermore, retrieved exemplars can also play a role in guiding the model to capture the writing style of a specific corpus. We validate our method on a wide range of summarization datasets across multiple domains and two backbone models: BERT and BART. Results show that our framework obtains significant improvement by 1.38~4.66 in ROUGE-1 score when compared with the powerful pre-trained models, and achieve new state-of-the-art on BillSum. Human evaluation demonstrates that our retrieval enhanced model can better capture the domain-specific writing style.

研究动机与目标

• 通过引入外部范例来解决抽取式摘要中的内容偏差和写作风格不一致问题。
• 通过从训练语料库中检索高质量、语义相似的摘要来提升模型对源文档的理解能力。
• 通过利用范例作为风格模板，使摘要模型能够学习领域特定的写作风格。
• 开发一种即插即用的框架，无需修改内部架构即可增强现有预训练模型。
• 验证密集检索相较于传统稀疏方法（如 TF-IDF、BM25）在摘要任务中的有效性。

提出的方法

• 采用密集段落检索器（DPR 风格）基于查询-文档嵌入相似度，从训练集中检索语义相关的范例。
• 将检索到的范例作为额外上下文整合到摘要模型的编码器输入中。
• 在训练过程中应用组对齐机制，将范例中的每个句子与生成摘要中对应的片段对齐，以保持结构和语义的一致性。
• 在束搜索过程中使用 ROUGE 评分奖励，通过奖励与检索范例写作风格高度一致的生成路径，鼓励模型保留高风格一致性输出。
• 设计框架为模型无关，可无缝集成到任意预训练编码器-解码器模型（如 BERT、BART）中，无需修改其内部架构。
• 采用多任务目标联合训练检索器与摘要模型，平衡生成损失与对齐损失。

实验结果

研究问题

• RQ1 从训练语料库中检索高质量、语义相似的范例是否能提升抽取式摘要的性能？
• RQ2 在摘要任务中，使用密集检索（语义匹配）是否优于传统稀疏检索（如 TF-IDF、BM25）？
• RQ3 检索到的范例在多大程度上能提升写作风格一致性并减少摘要中的内容偏差？
• RQ4 所提出的机制——组对齐与 ROUGE 评分奖励，是否能有效引导模型在不修改架构的前提下从范例中学习？
• RQ5 在多个数据集和主干模型上，该检索增强模型的性能与 GSum 和 BART 等最先进模型相比如何？

主要发现

• 在七个多样化的摘要数据集中，RetrievalSum 相比 BART 和 BERT 等强基线模型，ROUGE-1 分数提升 1.38 至 4.66 分。
• 密集检索器优于 TF-IDF 和 Elastic Search，在 XSum 数据集上使用 BART 时，ROUGE-1 得分为 23.04，而 Elastic Search 仅为 20.81。
• 在 CNNDM 数据集上，使用密集检索器的 Retrieval (BART) 达到 42.91 的 ROUGE-1 分数，优于 GSum (BERT) 的 0.76 ROUGE-1 和 0.87 ROUGE-L。
• 在 BillSum 上的人工评估显示，检索增强模型的写作风格得分为 4.72，仅比人工撰写摘要低 0.20，表明其具有极强的风格一致性。
• 与 BART 相比，该模型在信息量（4.15 vs. 3.98）和流畅度（4.63 vs. 4.52）方面均有显著提升，且忠实度无下降，表明摘要质量整体提升。
• 将范例作为“提示”使用，有助于模型生成更丰富的摘要，通过学习以领域特定短语（如“修订内部收入法...”）开头，从而减少内容偏差。