[论文解读] NLPContributions: An Annotation Scheme for Machine Reading of Scholarly Contributions in Natural Language Processing Literature

Jennifer D’Souza, Sören Auer|arXiv (Cornell University)|Jun 23, 2020

Topic Modeling参考文献 53被引用 8

一句话总结

本文提出了 NLPContributions，一种用于从自然语言处理与机器学习研究论文中提取学术贡献的结构化标注方案。基于对五个 NLP 任务中 50 篇论文的试点标注，该方案识别出十个核心信息单元，通过主-谓-宾语句实现贡献的机器可读化，支持知识图谱构建，并为开放科学应用提供可重用、符合 FAIR 原则的数据集。

ABSTRACT

We describe an annotation initiative to capture the scholarly contributions in natural language processing (NLP) articles, particularly, for the articles that discuss machine learning (ML) approaches for various information extraction tasks. We develop the annotation task based on a pilot annotation exercise on 50 NLP-ML scholarly articles presenting contributions to five information extraction tasks 1. machine translation, 2. named entity recognition, 3. question answering, 4. relation classification, and 5. text classification. In this article, we describe the outcomes of this pilot annotation phase. Through the exercise we have obtained an annotation methodology; and found ten core information units that reflect the contribution of the NLP-ML scholarly investigations. The resulting annotation scheme we developed based on these information units is called NLPContributions. The overarching goal of our endeavor is four-fold: 1) to find a systematic set of patterns of subject-predicate-object statements for the semantic structuring of scholarly contributions that are more or less generically applicable for NLP-ML research articles; 2) to apply the discovered patterns in the creation of a larger annotated dataset for training machine readers of research contributions; 3) to ingest the dataset into the Open Research Knowledge Graph (ORKG) infrastructure as a showcase for creating user-friendly state-of-the-art overviews; 4) to integrate the machine readers into the ORKG to assist users in the manual curation of their respective article contributions. We envision that the NLPContributions methodology engenders a wider discussion on the topic toward its further refinement and development. Our pilot annotated dataset of 50 NLP-ML scholarly articles according to the NLPContributions scheme is openly available to the research community at https://doi.org/10.25835/0019761.

研究动机与目标

• 开发一种系统化、可重用的标注方案，用于捕捉 NLP 与机器学习研究论文中的学术贡献。
• 识别 NLP-ML 文献中代表核心贡献的主-谓-宾语句的重复性模式。
• 创建一个大规模、符合 FAIR 数据原则的标注数据集，用于训练学术贡献提取的机器阅读模型。
• 将标注数据整合至开放研究知识图谱（ORKG）中，以增强学术知识发现能力。
• 通过语义结构化支持开发用户友好、由机器整理的研究贡献概览。

提出的方法

• 对涵盖五项信息抽取任务（机器翻译、命名实体识别、问答、关系分类与文本分类）的 50 篇 NLP-ML 研究论文进行了试点标注研究。
• 通过迭代标注与共识达成，识别出反映学术贡献的十个核心信息单元。
• 基于这些单元设计了 NLPContributions 标注方案，重点聚焦于主-谓-宾三元组的语义结构化。
• 应用该方案创建了 50 篇标注论文的数据集，并通过 DOI: 10.25835/0019761 公开发布。
• 通过与 ORKG 标准对齐，确保数据集符合 FAIR 原则（可发现性、可访问性、可.interoperability 与可重用性）。
• 提出未来扩展方向，包括改进的 PDF 解析、实体链接、本体对齐（如 MEX 词汇表）以及跨领域泛化能力。

实验结果

研究问题

• RQ1 在自然语言处理与机器学习研究论文的学术贡献中，可以识别出哪些主-谓-宾语句的重复性模式？
• RQ2 如何开发一种一致且可重用的标注方案，以捕捉 NLP-ML 研究论文的核心贡献？
• RQ3 50 篇论文的试点标注数据集在多大程度上可支持机器阅读模型对学术贡献提取的训练？
• RQ4 此类标注数据集如何整合至 ORKG 等学术知识图谱基础设施中，以增强研究发现能力？
• RQ5 为实现该标注方案在更广泛科学领域的规模化，需要哪些技术和方法上的改进？

主要发现

• 试点标注识别出十个核心信息单元，能一致反映 NLP-ML 研究论文中的学术贡献。
• NLPContributions 方案通过主-谓-宾语句成功捕捉了学术贡献，实现了研究主张的结构化、机器可读表示。
• 所生成的 50 篇标注 NLP-ML 论文数据集已通过 DOI: 10.25835/0019761 公开发布，并符合 FAIR 数据原则。
• 该标注方案设计用于集成至开放研究知识图谱（ORKG），支持自动化数据整理与知识发现。
• 本研究识别出若干关键未来改进方向：增强的 PDF 解析、实体链接、本体对齐（如 MEX 词汇表）以及跨领域可扩展性。
• 该方法论为语义出版及跨科学领域的学术贡献机器阅读的广泛应用奠定了基础。