[论文解读] Open Domain Multi-document Summarization: A Comprehensive Study of Model Brittleness under Retrieval

John Giorgi, Luca Soldaini+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 4

一句话总结

本文研究开放域多文档摘要（MDS），其中摘要生成模型需基于检索到的文档而非标准参考文档集生成摘要。研究发现，当前最先进摘要模型在检索结果不完美时性能显著下降，尤其受无关文档影响严重，但通过在开放域数据上微调可提升性能。本研究为实际开放域MDS应用中的检索长度与错误鲁棒性提供了实用指导。

ABSTRACT

Multi-document summarization (MDS) assumes a set of topic-related documents are provided as input. In practice, this document set is not always available; it would need to be retrieved given an information need, i.e. a question or topic statement, a setting we dub "open-domain" MDS. We study this more challenging setting by formalizing the task and bootstrapping it using existing datasets, retrievers and summarizers. Via extensive automatic and human evaluation, we determine: (1) state-of-the-art summarizers suffer large reductions in performance when applied to open-domain MDS, (2) additional training in the open-domain setting can reduce this sensitivity to imperfect retrieval, and (3) summarizers are insensitive to the retrieval of duplicate documents and the order of retrieved documents, but highly sensitive to other errors, like the retrieval of irrelevant documents. Based on our results, we provide practical guidelines to enable future work on open-domain MDS, e.g. how to choose the number of retrieved documents to summarize. Our results suggest that new retrieval and summarization methods and annotated resources for training and evaluation are necessary for further progress in the open-domain setting.

研究动机与目标

• 将开放域多文档摘要（MDS）形式化并开展研究，其中需在摘要生成前完成文档检索。
• 评估最先进摘要模型在应用于检索到的文档集而非标准参考文档集时的性能退化情况。
• 探究哪些类型的检索错误对摘要质量影响最为严重。
• 评估在开放域数据上微调是否可降低摘要模型对检索错误的敏感性。
• 为未来开放域MDS研究与实际部署提供实用、基于数据的指导。

提出的方法

• 将开放域MDS形式化为使用查询和大规模文档索引的检索-摘要流水线。
• 通过现有数据集（如Multi-News、Cochrane、WCEP-10）、预训练检索器（如BM25、DPR）和摘要模型（如PEGASUS、PRIMERA、LSG-BART）构建该任务。
• 对输入文档集施加受控扰动，如随机替换、删除、重复和回译，以模拟检索错误。
• 同时采用自动评估（ROUGE、BERTScore）与人工评估（覆盖度与信息量指标）。
• 在开放域数据上对摘要模型进行微调，以评估其在检索噪声下的鲁棒性提升。
• 使用二项检验与评分者间一致性（kappa > 0.21）验证人工评估结果。

实验结果

研究问题

• RQ1 当最先进摘要模型应用于检索到的文档集而非标准参考文档集时，其性能如何退化？
• RQ2 哪些类型的检索错误（如无关、重复、顺序错乱文档）对摘要质量影响最大？
• RQ3 在开放域数据上微调摘要模型是否可降低其对不完美检索的敏感性？
• RQ4 检索文档数量如何影响摘要质量与鲁棒性？
• RQ5 摘要模型是否对文档顺序或重复敏感，还是主要因无关文档导致失败？

主要发现

• 最先进摘要模型在开放域MDS中性能显著下降，平均ROUGE-F1下降高达20%。
• 摘要模型对无关文档的检索极为敏感，此类错误导致最严重的性能退化。
• 摘要模型对文档重复和顺序变化表现出较低敏感性，表明对这类错误具有鲁棒性。
• 在开放域数据上微调摘要模型可显著降低其对检索错误的敏感性，提升鲁棒性。
• 人工评估结果确认，对标准参考输入的偏好具有统计显著性，且评分者间一致性良好（kappa > 0.21）。
• 研究发现，需确保60–80%的检索文档为相关文档，才能维持可接受的摘要质量，表明最优检索长度至关重要。