[论文解读] SemEval-2021 Task 11: NLPCONTRIBUTIONGRAPH - Structuring Scholarly NLP Contributions for a Research Knowledge Graph

Jennifer D’Souza, Sören Auer+1 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 23被引用 1

一句话总结

本论文介绍了 SemEval-2021 任务 11，NLPCONTRIBUTIONGRAPH（NCG），这是一个新颖的共享任务，将学术 NLP 贡献内容结构化为跨三个粒度的知识图谱（KG）三元组：贡献句子、科学术语与关系，以及主语-谓语-宾语三元组。最佳端到端系统在句子分类任务上取得 57.27% 的 F1 分数，在短语抽取任务上取得 46.41% 的 F1 分数，在三元组生成任务上取得 22.28% 的 F1 分数，尽管在使用人工标注输入时子任务表现良好，但该任务的难度依然显著。

ABSTRACT

There is currently a gap between the natural language expression of scholarly publications and their structured semantic content modeling to enable intelligent content search. With the volume of research growing exponentially every year, a search feature operating over semantically structured content is compelling. The SemEval-2021 Shared Task NLPContributionGraph (a.k.a. ‘the NCG task’) tasks participants to develop automated systems that structure contributions from NLP scholarly articles in the English language. Being the first-of-its-kind in the SemEval series, the task released structured data from NLP scholarly articles at three levels of information granularity, i.e. at sentence-level, phrase-level, and phrases organized as triples toward Knowledge Graph (KG) building. The sentence-level annotations comprised the few sentences about the article’s contribution. The phrase-level annotations were scientific term and predicate phrases from the contribution sentences. Finally, the triples constituted the research overview KG. For the Shared Task, participating systems were then expected to automatically classify contribution sentences, extract scientific terms and relations from the sentences, and organize them as KG triples. Overall, the task drew a strong participation demographic of seven teams and 27 participants. The best end-to-end task system classified contribution sentences at 57.27% F1, phrases at 46.41% F1, and triples at 22.28% F1. While the absolute performance to generate triples remains low, as conclusion to the article, the difficulty of producing such data and as a consequence of modeling it is highlighted.

研究动机与目标

• 开发自动化系统，将非结构化的学术 NLP 贡献内容转化为机器可读、知识图谱就绪的格式。
• 通过实现细粒度、语义化的搜索，应对学术文献中信息过载的日益严峻挑战。
• 创建一种标准化的标注方案——NLPCONTRIBUTIONGRAPH（NCG），用于在句子、短语和三元组层级捕捉研究贡献。
• 通过将贡献提取形式化为自动化 NLP 任务，支持构建全面且相互关联的研究知识图谱（ORKG）。
• 评估利用 NLP 技术从学术文章中挖掘结构化研究贡献的可行性与难度。

提出的方法

• 该任务发布了包含 299 篇 NLP 学术文章的数据集，其标注涵盖三个粒度：贡献句子、科学术语与关系，以及主语-谓语-宾语三元组。
• 通过试点阶段和仲裁阶段开发了标注方案，定义了 12 个信息单元（IUs），如 RESEARCHPROBLEM、MODEL、RESULTS 和 EXPERIMENTALSETUP，用于组织三元组。
• 系统评估分为两个阶段：使用预测句子的端到端流水线阶段，以及使用人工标注句子的黄金标准阶段，以隔离信息单元分类性能。
• 参赛者采用了多种方法，包括基于 BERT 的分类与序列标注模型、依存句法分析，以及结合启发式方法与机器学习的混合方法。
• 已公开发布 NCG 数据集，并通过 ORKG 数字图书馆发布了样本知识图谱。

实验结果

研究问题

• RQ1 NLP 系统在多大程度上能够自动识别并分类学术 NLP 论文中的贡献句子？
• RQ2 系统在多大程度上能够以高精确率和高召回率从贡献句子中提取科学术语和关系谓词？
• RQ3 端到端系统从非结构化学术文本中生成结构化知识图谱三元组的性能如何？
• RQ4 当系统使用黄金标准句子而非预测句子时，其性能在流水线中如何变化？
• RQ5 在创建标准化、多粒度的研究贡献标注方案方面，存在哪些关键挑战与局限性？

主要发现

• 最佳端到端系统在贡献句子分类任务上取得 57.27% 的 F1 分数，在短语抽取任务上取得 46.41% 的 F1 分数，在三元组生成任务上取得 22.28% 的 F1 分数，表明在端到端知识图谱构建方面仍有显著改进空间。
• 当提供黄金句子时，最佳系统在信息单元分类任务上达到 71.72% 的 F1 分数，表明句子分类是流水线中的主要瓶颈。
• 一种仅预测三个强制性 IUs（RESEARCHPROBLEM、MODEL、RESULTS）的基线系统取得了 69.01% 的 F1 分数，优于多个复杂模型，表明简单启发式方法可能非常有效。
• INNOVATORS 团队的系统在使用黄金句子时未见性能提升，表明其依赖于不依赖于输入句子质量的固定启发式规则。
• 数据集的任务分布不均——尤其在训练集中，58.62% 的任务包含少于五篇文章——可能是导致泛化能力差和低资源任务性能不佳的主要原因。