[论文解读] Overview and Results: CL-SciSumm Shared Task 2019

Muthu Kumar Chandrasekaran, Michihiro Yasunaga+3 more|arXiv (Cornell University)|Jul 23, 2019

Topic Modeling参考文献 14被引用 16

一句话总结

本论文介绍了 CL-SciSumm 2019 共享任务的结果，该任务是对计算语言学领域科学文献摘要生成的中等规模评估。任务包括三个部分：识别引用文本片段（1A）、分类话语特征（1B）以及生成抽象摘要（2），数据集包含 40 篇参考论文和来自 SciSummNet 的 1,000 篇额外论文。主要发现是，当在大规模、噪声较多的数据上进行训练时，深度学习模型在摘要生成任务中表现优于传统方法；而在小规模、高质量数据上，传统模型在片段检测任务中表现更优。

ABSTRACT

The CL-SciSumm Shared Task is the first medium-scale shared task on scientific document summarization in the computational linguistics~(CL) domain. In 2019, it comprised three tasks: (1A) identifying relationships between citing documents and the referred document, (1B) classifying the discourse facets, and (2) generating the abstractive summary. The dataset comprised 40 annotated sets of citing and reference papers of the CL-SciSumm 2018 corpus and 1000 more from the SciSummNet dataset. All papers are from the open access research papers in the CL domain. This overview describes the participation and the official results of the CL-SciSumm 2019 Shared Task, organized as a part of the 42nd Annual Conference of the Special Interest Group in Information Retrieval (SIGIR), held in Paris, France in July 2019. We compare the participating systems in terms of two evaluation metrics and discuss the use of ROUGE as an evaluation metric. The annotated dataset used for this shared task and the scripts used for evaluation can be accessed and used by the community at: https://github.com/WING-NUS/scisumm-corpus.

研究动机与目标

• 通过引入聚焦于计算语言学领域科学引用分析与抽象摘要生成的共享任务，推动自动科学文献摘要技术的发展。
• 评估系统在三个相互关联任务上的表现：引文句子到参考文献片段的对齐（1A）、话语特征分类（1B）以及抽象摘要生成（2）。
• 提供一个标准化的、由社区标注的 40 篇参考论文及来自 SciSummNet 的 1,000 篇额外论文的数据集，以支持科学摘要研究的可重现性。
• 在不同数据质量和规模条件下，比较深度学习与传统机器学习方法在各项任务中的性能表现。
• 建立未来科学摘要研究的基准，重点关注利用引用作为社区创建的摘要，并提升基于 ROUGE 的评估可靠性。

提出的方法

• 共享任务使用了来自 CL-SciSumm 2018 语料库的 40 篇参考论文和来自 SciSummNet 数据集的 1,000 篇额外论文，所有论文均来自开放获取的计算语言学研究。
• 在任务 1A 中，系统需将每个引文句子（citance）映射到参考文献中最具相关性的被引文本片段，片段长度限制为连续 5 个句子。
• 在任务 1B 中，系统需使用统一的标注方案，将每个被引片段分类为若干预定义的话语特征之一（如动机、方法、结果等）。
• 在任务 2 中，系统需基于被引片段和提供的摘要，生成长度不超过 250 个词的抽象摘要。
• 评估采用 ROUGE-1、ROUGE-2 和 F1 分数，重点关注摘要生成任务中的 ROUGE-2 分数，并将人工标注摘要和社区生成摘要均作为参考标准。
• 在任务 1A 中应用了数据增强，采用基于相似度的截断方法；任务 1B 未使用数据增强，从而实现不同数据质量水平下模型性能的对比。

实验结果

研究问题

• RQ1 在 CL-SciSumm 2019 任务中，深度学习与传统机器学习模型的性能表现如何比较，特别是在不同数据质量和规模条件下？
• RQ2 数据增强是否能提升任务 1A 的性能？如果是，对哪种模型类型（深度学习 vs. 传统学习）效果更显著？
• RQ3 在 SciSummNet 语料库中自动标注的噪声数据上进行训练的系统，是否能超越在小规模、人工整理数据集上训练的系统？
• RQ4 在评估科学摘要时，ROUGE 分数在多大程度上与人类判断相关，尤其是在不同类型的参考摘要之间？
• RQ5 当在大规模、噪声较多的数据上进行训练时，端到端的深度学习模型能否在科学论文的抽象摘要生成任务中达到最先进性能？

主要发现

• 在任务 1A 中表现最佳的系统（系统 3）使用深度学习模型在增强数据上训练，F1 得分为 0.126，尽管低于 CL-SciSumm 2018 最佳系统的 0.145，表明数据噪声带来了挑战。
• 当在干净数据上训练时，传统机器学习模型在任务 1A 上优于深度学习模型；但当在增强的、噪声更多的数据上训练时，深度学习模型则表现更优。
• 在任务 1B 中，传统方法优于深度学习模型，可能是因为缺乏数据增强以及特征分类任务的复杂性。
• 在任务 2 中表现最佳的系统（系统 2）在人工撰写摘要上的 ROUGE-2 得分为 0.278，优于 CL-SciSumm 2018 的最佳系统（0.252），表明来自 SciSummNet 的额外训练数据具有优势。
• 系统 3 在参考摘要上的 ROUGE-2 得分为 0.514，比当前最先进水平高出 0.2 分，且在社区摘要上的得分为 0.204，表明其在不同摘要类型间具有强大的泛化能力。
• 结果表明，当有足够的训练数据时，深度学习模型比传统方法更有效；而当数据量小且质量高时，传统模型在片段检测任务中仍具优势。