[论文解读] What's New? Summarizing Contributions in Scientific Literature

Hiroaki Hayashi, Wojciech Kryściński+3 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 35被引用 5

一句话总结

本文提出解耦论文摘要这一新任务，即分别生成科学论文的贡献摘要与背景摘要，以提升可读性和实用性。基于扩展的S2ORC数据集（包含细粒度标签），作者提出了三种生成式基线模型，并制定了全面的评估协议。通过人工评估显示，79%的情况下，解耦摘要优于传统基于摘要的摘要。

ABSTRACT

With thousands of academic articles shared on a daily basis, it has become increasingly difficult to keep up with the latest scientific findings. To overcome this problem, we introduce a new task of disentangled paper summarization, which seeks to generate separate summaries for the paper contributions and the context of the work, making it easier to identify the key findings shared in articles. For this purpose, we extend the S2ORC corpus of academic articles, which spans a diverse set of domains ranging from economics to psychology, by adding disentangled "contribution" and "context" reference labels. Together with the dataset, we introduce and analyze three baseline approaches: 1) a unified model controlled by input code prefixes, 2) a model with separate generation heads specialized in generating the disentangled outputs, and 3) a training strategy that guides the model using additional supervision coming from inbound and outbound citations. We also propose a comprehensive automatic evaluation protocol which reports the relevance, novelty, and disentanglement of generated outputs. Through a human study involving expert annotators, we show that in 79%, of cases our new task is considered more helpful than traditional scientific paper summarization.

研究动机与目标

• 通过改进科学论文摘要以应对快速增长的科学文献，服务于多样化受众。
• 克服传统摘要方法将论文摘要视为参考摘要的局限性，后者常包含非必要信息，且因已有手工摘要而存在冗余。
• 提出一项新任务——解耦论文摘要，即生成两个独立摘要：一个聚焦于新颖贡献，一个聚焦于背景上下文。
• 构建一个大规模、多领域的数据集，包含自动生成的贡献与背景参考摘要，以支持监督训练。
• 通过专家人工标注与对比分析，在真实科研场景中评估解耦摘要的实用性。

提出的方法

• 利用自动化启发式方法与引用元数据，将S2ORC语料库扩展为包含解耦的‘贡献’与‘上下文’参考摘要。
• 设计三种生成式基线模型：(1) 通过输入前缀编码控制的统一模型，(2) 具有分支解码器的一对多序列模型，(3) 使用信息论目标进行基于引用的监督训练的模型。
• 开发全面的自动评估协议，通过ROUGE分数与人工标注指标，衡量相关性、新颖性与解耦程度。
• 开展人工研究，由专家标注者在假设的论文评审场景中，对比解耦摘要与基于摘要的摘要。
• 在CORD数据集（新冠文献）上进行零样本生成，以测试模型在训练分布外的泛化能力。
• 在10个科学领域进行多领域评估，分析模型性能差异，尤其关注医学等高定量领域。

实验结果

研究问题

• RQ1 与传统基于摘要的摘要相比，解耦摘要能否显著提升自动化摘要对研究人员的实用性？
• RQ2 不同模型架构（前缀控制、分支解码器、基于引用引导）在生成解耦贡献与上下文摘要方面的表现如何？
• RQ3 基于引用的监督对生成摘要的质量与解耦程度有何影响？
• RQ4 模型性能在不同科学领域中如何变化，特别是在医学等高定量领域？
• RQ5 在真实科研评估任务中，专家评审者在多大程度上偏好解耦摘要而非标准摘要？

主要发现

• 在人工评估中，79%的情况下解耦摘要优于基于摘要的摘要，其中在CORD（新冠）样本中偏好度达81%，在S2ORC中为77%。
• ControlCode模型在生物学领域取得最高ROUGE-L分数（64.23），而医学领域表现最低（ROUGE-L: 21.73），表明存在领域特异性挑战。
• 医学领域摘要中低分定量输出（R-1 < 20）显著更多，是生物学领域的1.9倍，表明需要进行领域特定微调。
• 基于引用的训练策略提升了摘要的解耦程度与新颖性，表明引用元数据可作为生成摘要的有效监督信号。
• 具分支解码器的一对多模型在解耦方面表现优异，优于统一模型，能更有效地分离贡献与上下文内容。
• 全面的评估协议成功捕捉了相关性、新颖性与解耦程度的差异，实现了跨领域的可靠模型比较。