[论文解读] SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization

Huy Quoc To, Liu, Ming+5 more|arXiv (Cornell University)|Feb 27, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出SKT5SciSumm，一种用于多文档科学摘要的混合抽取式-生成式框架，结合SPECTER嵌入与K-means聚类进行抽取式摘要，再利用微调后的T5模型进行生成式摘要。该方法在Multi-XScience数据集上达到最先进性能，ROUGE-L得分为19.88，ROUGE-LSum得分为33.23，优于先前方法。

ABSTRACT

Summarization for scientific text has shown significant benefits both for the research community and human society. Given the fact that the nature of scientific text is distinctive and the input of the multi-document summarization task is substantially long, the task requires sufficient embedding generation and text truncation without losing important information. To tackle these issues, in this paper, we propose SKT5SciSumm - a hybrid framework for multi-document scientific summarization (MDSS). We leverage the Sentence-Transformer version of Scientific Paper Embeddings using Citation-Informed Transformers (SPECTER) to encode and represent textual sentences, allowing for efficient extractive summarization using k-means clustering. We employ the T5 family of models to generate abstractive summaries using extracted sentences. SKT5SciSumm achieves state-of-the-art performance on the Multi-XScience dataset. Through extensive experiments and evaluation, we showcase the benefits of our model by using less complicated models to achieve remarkable results, thereby highlighting its potential in advancing the field of multi-document summarization for scientific text.

研究动机与目标

• 为解决从多源长篇复杂科学文献中进行摘要生成的挑战。
• 通过结合有效的句子抽取与高质量的生成式摘要，提升摘要质量。
• 证明更简单、模块化的组件可优于复杂的端到端模型在科学摘要任务中的表现。
• 评估不同大小的T5模型对科学文本摘要性能的影响。

提出的方法

• 利用SPECTER——一种基于引用信息的句子编码器，为科学句子生成上下文嵌入。
• 在SPECTER嵌入上应用K-means聚类，以无监督方式提取最显著的句子。
• 在提取的句子上微调T5模型（小、基、大、XL），以生成生成式摘要。
• 采用两阶段流水线：首先通过聚类提取关键句子，再通过T5生成流畅且简洁的摘要。
• 使用Multi-XScience数据集进行训练、验证与评估，重点生成“相关工作”部分。
• 采用标准ROUGE指标（R-1、R-2、R-L、R-LSum）与强基线模型进行性能评估。

实验结果

研究问题

• RQ1 混合抽取式-生成式方法是否能在多文档科学摘要任务中超越现有最先进模型？
• RQ2 T5模型大小的选择如何影响科学文本摘要质量？
• RQ3 使用SPECTER嵌入与K-means聚类是否能带来优于先前抽取式方法的抽取性能？
• RQ4 更简单、模块化的流水线是否能实现优于更复杂端到端模型的性能？

主要发现

• SKT5SciSumm在Multi-XScience数据集上达到最先进性能，ROUGE-1为37.49，ROUGE-2为8.23，ROUGE-L为19.88，ROUGE-LSum为33.23。
• T5-large模型取得最高ROUGE得分，优于较小版本，并且优于T5-XL模型，后者表现出对科学短语的过度改写。
• 抽取组件（SPECTER + K-means）的ROUGE-1为33.61，ROUGE-2为7.29，ROUGE-LSum为28.15，相比先前抽取方法在ROUGE-2上至少提升1.46%。
• 与先前SOTA模型KGSum相比，SKT5SciSumm在ROUGE-1上提升1.72%，ROUGE-2提升0.74%，ROUGE-LSum提升1.8%。
• 消融实验表明，SPECTER + K-means抽取器显著优于LexRank、TextRank和LEAD基线方法。
• 人工评估表明，T5-large生成的摘要在流畅性与结构上更接近人类撰写的科学摘要。