[论文解读] RuNNE-2022 Shared Task: Recognizing Nested Named Entities

Ekaterina Artemova, Maxim Zmeev+5 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用 6

一句话总结

本论文介绍了2022年俄罗斯语嵌套命名实体识别（RuNNE-2022）共享任务，基于包含29种实体类型及最多六层嵌套的NEREL数据集，评估了通用设置与少样本设置下的性能。结果表明，经过精心设计的基于规则的系统可超越神经网络模型；而在无需人工数据标注的情况下，表现最佳的神经方法为机器阅读理解（MRC）模型。

ABSTRACT

The RuNNE Shared Task approaches the problem of nested named entity recognition. The annotation schema is designed in such a way, that an entity may partially overlap or even be nested into another entity. This way, the named entity "The Yermolova Theatre" of type "organization" houses another entity "Yermolova" of type "person". We adopt the Russian NEREL dataset for the RuNNE Shared Task. NEREL comprises news texts written in the Russian language and collected from the Wikinews portal. The annotation schema includes 29 entity types. The nestedness of named entities in NEREL reaches up to six levels. The RuNNE Shared Task explores two setups. (i) In the general setup all entities occur more or less with the same frequency. (ii) In the few-shot setup the majority of entity types occur often in the training set. However, some of the entity types are have lower frequency, being thus challenging to recognize. In the test set the frequency of all entity types is even. This paper reports on the results of the RuNNE Shared Task. Overall the shared task has received 156 submissions from nine teams. Half of the submissions outperform a straightforward BERT-based baseline in both setups. This paper overviews the shared task setup and discusses the submitted systems, discovering meaning insights for the problem of nested NER. The links to the evaluation platform and the data from the shared task are available in our github repository: https://github.com/dialogue-evaluation/RuNNE.

研究动机与目标

• 通过在丰富标注的数据集上组织共享任务，推动俄语嵌套命名实体识别（NER）的发展。
• 在通用设置与少样本设置下评估系统性能，其中部分实体类型在训练集中稀有，但在测试集中保持平衡。
• 比较神经网络方法与基于规则的方法在处理复杂嵌套实体结构方面的能力。
• 识别常见的错误模式及实体类型分类中的系统间一致性。
• 为低资源及复杂语言环境下的嵌套NER未来研究提供基准与公开数据。

提出的方法

• 共享任务使用NEREL数据集，该数据集为来自维基新闻的俄语语料库，包含29种实体类型，最多支持六层嵌套。
• 定义了两种评估设置：通用设置（实体频率均衡）与少样本设置（训练集中低频实体类型，测试集中频率均衡）。
• 参赛者提交了基于神经网络、基于规则的方法或混合方法的系统。
• 评估基于精确跨度与类型匹配，采用精确率、召回率与F1值作为指标。
• 错误分析聚焦于实体类型误分类及使用Cohen’s kappa计算的成对一致性。
• 识别出一种无需额外数据标注的最优神经基线模型为机器阅读理解（MRC）模型。

实验结果

研究问题

• RQ1 当通过迭代规则开发进行精细调优时，基于规则的系统是否能在嵌套NER中超越神经网络模型？
• RQ2 在低频实体类型存在的少样本嵌套NER场景下，不同神经网络架构的表现如何？
• RQ3 各类系统在实体类型分类中最常见的错误模式是什么？
• RQ4 系统预测结果之间的相关性如何？这反映了泛化能力与基于规则学习之间的何种关系？
• RQ5 哪种模型架构在无需额外人工数据标注的情况下表现最佳？

主要发现

• 在156份提交中，有一半在通用设置与少样本设置下均优于基于BERT的基线模型。
• 基于规则的系统（pullenti）表现强劲，表明经过充分调优的手工规则可超越神经网络模型。
• 在无需人工数据标注的神经模型中，表现最佳的是机器阅读理解（MRC）模型。
• 最常见的错误是将‘organization’误分类为‘facility’，或将‘country’误分类为‘nationality’。
• 三个表现较差的系统（svetlan、botbot、Stud2022）彼此之间以及与基于规则的系统之间表现出高度一致性，表明其具有类似规则的学习模式。
• 成对系统一致性（使用Cohen’s kappa）的取值范围为0.28至0.78，表明一致性水平不一，且基于规则的系统彼此聚集。