[论文解读] Multi-XScience: A Large-scale Dataset for Extreme Multi-document Summarization of Scientific Articles

Yao Lu, Yue Dong+1 more|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling被引用 13

一句话总结

本文介绍了 Multi-XScience，一个从科学文献中构建的大规模极端多文档摘要数据集，其任务是基于文章的摘要及其引用文献生成相关工作部分。该数据集旨在促进生成式摘要，实证结果表明其能有效挑战模型生成高层次抽象而非抽取式复制，且在人工评估中优于抽取式基线模型。

ABSTRACT

Multi-document summarization is a challenging task for which there exists little large-scale datasets. We propose Multi-XScience, a large-scale multi-document summarization dataset created from scientific articles. Multi-XScience introduces a challenging multi-document summarization task: writing the related-work section of a paper based on its abstract and the articles it references. Our work is inspired by extreme summarization, a dataset construction protocol that favours abstractive modeling approaches. Descriptive statistics and empirical results---using several state-of-the-art models trained on the Multi-XScience dataset---reveal that Multi-XScience is well suited for abstractive models.

研究动机与目标

• 为解决多文档摘要（MDS）领域缺乏大规模、高质量数据集的问题，特别是针对生成式建模的需求。
• 构建一个反映真实科学写作的语料库，通过文章摘要及其引用文献生成相关工作部分。
• 减少以往 MDS 数据集中常见的位置偏差和抽取式偏差，使任务更具挑战性。
• 支持在高抽象需求的科学文本上进行最先进生成式摘要模型的训练与评估。
• 推动未来在科学文档理解方面的研究，包括基于图结构和无监督学习的扩展。

提出的方法

• 该数据集基于 130 万篇 arXiv 论文构建，并通过基于启发式的记录匹配方法与 Microsoft Academic Graph（MAG）对齐，经过五轮迭代清洗并辅以人工验证。
• 每个样本包含查询论文的摘要及其引用文献的摘要，目标是该查询论文的段落级相关工作部分。
• 该数据集被设计为多文档摘要任务，要求模型从多个源文档中合成连贯的、生成式摘要。
• 构建协议强调高质量对齐与语义连贯性，最大限度减少抽取式与位置偏差，以促进真正的抽象生成。
• 通过人工标注进行评估，两名标注员在 1–3 分制下对模型输出的质量与写作风格进行打分。
• 基线模型包括抽取式最优模型（从源文本直接复制）、HiMAP 和 Pointer-Generator，其结果用于验证数据集对生成式摘要的挑战性。

实验结果

研究问题

• RQ1 能否构建一个大规模、科学领域的多文档摘要数据集，且抽取式与位置偏差极低，以促进生成式建模？
• RQ2 与抽取式基线相比，Multi-XScience 在多大程度上挑战了当前的生成式摘要模型？
• RQ3 最先进的生成式模型（如 HiMAP、Pointer-Generator）在多大程度上能生成与真实科学文献写作风格和内容相符的相关工作部分？
• RQ4 该数据集能否支持开发更鲁棒的、面向科学文本摘要的生成式模型？
• RQ5 利用引用图结构与领域内语料库结构，对未来数据集扩展有何启示？

主要发现

• Multi-XScience 数据集包含 130 万篇 arXiv 论文及其与 MAG 对齐的引用文献，构成大规模、高质量的 MDS 基准。
• 人工评估显示，生成式模型（HiMAP、Pointer-Generator）的平均得分分别为 2.28 和 2.18，显著高于抽取式最优模型（1.54），表明其在写作风格与连贯性方面表现更优。
• 尽管抽取式最优模型能捕获正确内容，但其写作风格与真实相关工作部分不符，凸显了该数据集对抽象生成的高要求。
• 实证结果证实，Multi-XScience 适合生成式模型，且减少了对首句复制或抽取式启发式方法的依赖。
• 如表 4 所示，与以往 MDS 数据集相比，该数据集的抽取式与位置偏差更少。
• 该数据集支持未来扩展，包括基于图的摘要与利用引用网络进行无监督领域预训练。