[论文解读] QMSum: A New Benchmark for Query-based Multi-domain Meeting Summarization

Ming Zhong, Da Yin+9 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 52被引用 27

一句话总结

简要：QMSum 为跨多领域的基于查询的会议信息摘要提出了一个新基准，并提出了 locate-then-summarize 的两阶段方法，包含大量基线和多领域评估。

ABSTRACT

Meetings are a key component of human collaboration. As increasing numbers of meetings are recorded and transcribed, meeting summaries have become essential to remind those who may or may not have attended the meetings about the key decisions made and the tasks to be completed. However, it is hard to create a single short summary that covers all the content of a long meeting involving multiple people and topics. In order to satisfy the needs of different types of users, we define a new query-based multi-domain meeting summarization task, where models have to select and summarize relevant spans of meetings in response to a query, and we introduce QMSum, a new benchmark for this task. QMSum consists of 1,808 query-summary pairs over 232 meetings in multiple domains. Besides, we investigate a locate-then-summarize method and evaluate a set of strong summarization baselines on the task. Experimental results and manual analysis reveal that QMSum presents significant challenges in long meeting summarization for future research. Dataset is available at \url{https://github.com/Yale-LILY/QMSum}.

研究动机与目标

• 定义基于查询的跨域会议信息摘要任务，并说明其对灵活、面向用户的会议信息摘要的需求。
• 构建一个高质量、带有分层注释的数据集（QMSum），覆盖多个领域，包含查询、相关片段和摘要。
• 提出 locate-then-summarize 流水线并建立强基线，以量化长会议信息摘要的挑战。

提出的方法

• 将任务形式化为 p(y|Q, X)，其中 Q 是查询，X 是会谈记录。
• 实现一个两阶段的 Locator，用于识别与查询相关的片段（使用 Pointer Network 或分层排序），随后由 Summarizer 从提取的片段生成抽象摘要。
• 探索多种摘要器（PGNet、BART、HMNet），在有无金标准片段的情况下评估定位步骤的影响。
• 在三个领域（Product、Academic、Committee）进行构建和评估，并分析跨域泛化。
• 提供跨域预训练和评估，以测试多域设置下的稳健性。

实验结果

研究问题

• RQ1 locate-then-summarize 方法是否能够有效为长而跨域的会议文本生成聚焦查询的摘要？
• RQ2 跨域训练如何影响会议信息摘要模型在 Product、Academic 和 Committee 域上的泛化能力？
• RQ3 在基于查询的会议信息摘要中，主要挑战（如事实性、相关性）是什么，它们如何随查询类型而变化？

主要发现

• QMSum 包含 1,808 条查询–摘要对，覆盖三大领域的 232 次会议。
• 使用提出的 Locator 定位相关片段显著提升摘要器的输入质量，在提取原始文本的 1/3 时达到 ROUGE-L 回忆率高达 84.04。
• 带有 Locator 输入的神经摘要器优于基线，在单域设置中 HMNet 取得了最佳结果。
• 多域训练提供了稳健的跨域性能，在某些领域（如 Academic：ROUGE-2 与 ROUGE-L）甚至优于单域模型。
• 人工评估显示生成摘要存在较大事实性和相关性差距，包括 74% 的样本存在不一致事实，31% 与查询无关。