[论文解读] Structural Scaffolds for Citation Intent Classification in Scientific Publications

Arman Cohan, Waleed Ammar+2 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling被引用 4

一句话总结

本文提出了一种神经多任务学习框架，利用结构支架——预测章节标题和引用价值——作为辅助任务，以提升科学论文中的引用意图分类。通过利用科学论述中的内在结构信号，而无需外部特征，该模型在ACL-ARC数据集上实现了67.9%的新SOTA F1分数，相较于之前的工作绝对提升了13.3%，并发布了涵盖多个科学领域的大规模SciCite数据集。

ABSTRACT

Identifying the intent of a citation in scientific papers (e.g., background information, use of methods, comparing results) is critical for machine reading of individual publications and automated analysis of the scientific literature. We propose structural scaffolds, a multitask model to incorporate structural information of scientific papers into citations for effective classification of citation intents. Our model achieves a new state-of-the-art on an existing ACL anthology dataset (ACL-ARC) with a 13.3% absolute increase in F1 score, without relying on external linguistic resources or hand-engineered features as done in existing methods. In addition, we introduce a new dataset of citation intents (SciCite) which is more than five times larger and covers multiple scientific domains compared with existing datasets. Our code and data are available at: https://github.com/allenai/scicite.

研究动机与目标

• 通过整合科学论文中的结构信息，提升科学文献中的引用意图分类性能。
• 在引用意图分类中消除对手工设计语言特征或外部资源的依赖。
• 开发一个可扩展的、通用的引用意图分类数据集，覆盖多样化的科学领域。
• 证明与论文结构相关的辅助任务可显著提升主要分类任务的性能。

提出的方法

• 模型使用GloVe和ELMo嵌入的混合词表示，以编码引用上下文。
• 双向LSTM处理上下文化的标记表示，以捕捉序列依赖关系。
• 注意力机制将LSTM输出聚合为每个引用的单一上下文感知表示。
• 引入两种结构支架：预测章节标题和判断句子是否需要引用（引用价值）。
• 该框架采用多任务学习，联合训练主要意图分类任务与两个辅助支架任务。
• 模型在大规模论文结构辅助数据集上端到端训练，从而提升引用意图预测的泛化能力。

实验结果

研究问题

• RQ1 科学论文中固有的结构信号是否能在不依赖外部语言资源的情况下提升引用意图分类？
• RQ2 如章节标题预测和引用价值预测等辅助任务，在增强主要引用意图分类任务方面的有效性如何？
• RQ3 能否开发一种统一的、通用的引用意图分类方案，适用于多个科学领域？
• RQ4 在引用意图分类中，整合结构支架在多大程度上优于现有基于特征的方法？

主要发现

• 所提出的支架模型在ACL-ARC数据集上实现了67.9%的新SOTA F1分数，相较于之前最佳方法绝对提升了13.3%。
• 该模型在不使用任何手工设计语言特征或外部资源的情况下，优于现有的基于特征的方法。
• 所引入的SciCite数据集比现有引用意图数据集大五倍以上，并覆盖多个科学领域。
• 混淆矩阵显示，该模型在ACL-ARC和SciCite数据集上的主要意图类别中泛化良好，错误极少。
• 章节标题预测和引用价值预测的辅助任务通过多任务学习显著提升了主要意图分类任务的性能。
• 该模型在新的SciCite数据集上表现出色，验证了其在多样化科学文献中的泛化能力。