[论文解读] Query Focused Multi-Document Summarization with Distant Supervision

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 43被引用 10

一句话总结

本文提出了一种用于查询聚焦型多文档摘要的粗粒度到细粒度框架，利用问答数据集中的远程监督来训练可学习的证据估计器，从而提升查询与文档片段之间的语义相关性。该方法在 DUC 2006 和 2007 基准测试中，无论在自动评估还是人工评估中均优于强基线模型，生成的摘要更具相关性、更简洁且更连贯。

ABSTRACT

We consider the problem of better modeling query-cluster interactions to facilitate query focused multi-document summarization (QFS). Due to the lack of training data, existing work relies heavily on retrieval-style methods for estimating the relevance between queries and text segments. In this work, we leverage distant supervision from question answering where various resources are available to more explicitly capture the relationship between queries and documents. We propose a coarse-to-fine modeling framework which introduces separate modules for estimating whether segments are relevant to the query, likely to contain an answer, and central. Under this framework, a trained evidence estimator further discerns which retrieved segments might answer the query for final selection in the summary. We demonstrate that our framework outperforms strong comparison systems on standard QFS benchmarks.

研究动机与目标

• 通过利用现有问答数据集中的远程监督，解决查询聚焦型摘要（QFS）中缺乏标注训练数据的问题。
• 通过将相关性、证据和中心性分别建模为可训练的独立组件，改进查询与文档片段之间的语义匹配。
• 通过解耦查询-片段相关性、答案可能性和句子中心性估计，提升摘要质量。
• 开发一种可扩展且计算高效的框架，通过在每个阶段逐步减少片段数量，降低内存负担。
• 证明在问答数据上微调的预训练模型在 QFS 中优于传统检索方法。

提出的方法

• 该框架采用粗粒度到细粒度的流水线，包含三个顺序的估计器：相关性、证据和中心性，每个估计器处理的候选片段数量逐步减少。
• 证据估计器使用大规模问答数据集（如 SQuAD）中的远程监督进行训练，使其能够识别可能包含查询答案的片段。
• 对预训练的 BERT 编码器在问答任务上进行微调，以捕捉查询与文本片段之间的深层语义交互。
• 中心性估计器根据片段的相关性、证据质量及其在聚类中的结构重要性，选择最终的摘要片段。
• 模型采用分层选择过程：首先通过相关性过滤减少候选片段，然后进行证据重排序，最后进行中心性选择。
• 该框架将证据估计视为机器阅读理解任务，利用篇章级或句子级的问答信号，以实现更好的泛化能力。

实验结果

研究问题

• RQ1 来自问答数据集的远程监督是否能有效提升 QFS 中查询-文档片段相关性的估计？
• RQ2 解耦的、粗粒度到细粒度的估计流水线是否优于端到端或基于图的中心性模型？
• RQ3 在问答数据上微调 BERT 到何种程度能改善查询聚焦型摘要的语义匹配？
• RQ4 与基于检索的基线相比，引入专用证据估计器在摘要相关性和冗余性方面有何影响？
• RQ5 当已建模相关性和证据时，中心性估计器是否对生成高质量、连贯的摘要仍为必要？

主要发现

• 所提出的模型在 DUC 2006 和 2007 基准测试中，无论在自动评估还是人工评估中，均优于强基线模型，包括 VAESum 和 Lead。
• 当 $k^{\text{QA}} \geq 80$ 时，基于篇章训练的证据估计器优于基于句子训练的版本，表明较长上下文能带来更好的性能。
• 基于检索的基线（前 k 个句子）始终表现不如基于句子和篇章训练的证据估计器，表明微调的问答模型具有显著优势。
• 移除中心性估计器会导致性能显著下降，即使在高质量的查询相关和答案潜力片段下也是如此，证明其在最终选择中的关键价值。
• 人工评估显示，QuerySum 摘要的相关性显著高于 VAESum 和 Lead，冗余性更低，连贯性与 Lead 基线相当。
• 中心性估计器中的查询组件 $\tilde{q}$ 相较于均匀过滤提供了可测量的性能提升，表明其在超越基础检索的基础上进一步优化相关性的作用。