[论文解读] Towards Open-Domain Named Entity Recognition via Neural Correction Models.

Mengdi Zhu, Zheye Deng+4 more|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 43被引用 6

一句话总结

本文提出 AnchorNER，一种半监督框架，利用维基百科摘要和神经校正模型构建大规模、高质量的开放域命名实体识别（NER）数据集。通过使用 DocRED 校正假阴性标签并微调 BERT，该方法在六个基准数据集上实现了最先进性能，相较于 BERT-base 和 BERT-large 分别实现了 4.66% 和 3.07% 的相对提升。

ABSTRACT

Named Entity Recognition (NER) plays an important role in a wide range of natural language processing tasks, such as relation extraction, question answering, etc. However, previous studies on NER are limited to a particular genre, using small manually-annotated or large but low-quality datasets. In this work, we propose a semi-supervised annotation framework to make full use of abstracts from Wikipedia and obtain a large and high-quality dataset called AnchorNER. We assume anchored strings in abstracts are named entities and annotate them with entity types mentioned in DBpedia. To improve the coverage, we design a neural correction model trained with a human-annotated NER dataset, DocRED, to correct the false-negative entity labels, and then train a BERT model with the corrected dataset. We evaluate our trained model on six NER datasets and our experimental results show that we have obtained state-of-the-art open-domain performances --- on top of the strong baselines BERT-base and BERT-large, we achieve relative improvements of 4.66% and 3.07% respectively.

研究动机与目标

• 解决现有 NER 模型受限于特定领域或低质量数据集的局限性。
• 开发一种可扩展的半监督标注框架，用于创建高质量的开放域 NER 数据。
• 通过校正自动标注的维基百科摘要中的假阴性预测，提升实体标签覆盖率。
• 在校正后的数据集上微调基于 BERT 的模型，以实现最先进的开放域 NER 性能。

提出的方法

• 假设维基百科摘要中的锚定字符串为命名实体，并使用 DBpedia 中的类型进行标注。
• 在 DocRED 数据集上训练神经校正模型，以识别并校正初始标注中的假阴性实体标签。
• 使用校正后的数据集微调 BERT 模型，用于开放域 NER。
• 该框架结合维基百科的弱监督与 DocRED 的强监督，以提升标签质量和模型泛化能力。
• 在六个多样化的 NER 数据集上评估最终模型，以评估其在开放域中的鲁棒性。

实验结果

研究问题

• RQ1 半监督框架能否有效从维基百科摘要中生成高质量的开放域 NER 数据？
• RQ2 神经校正模型在减少弱标注数据中假阴性实体标签方面的有效性如何？
• RQ3 在校正后的数据集上微调 BERT 对开放域 NER 基准性能的提升程度如何？
• RQ4 所提出方法在多种数据集上与强基线模型（如 BERT-base 和 BERT-large）相比表现如何？

主要发现

• 所提方法在六个开放域 NER 数据集上实现了最先进性能，优于 BERT-base 和 BERT-large。
• 相较于 BERT-base 和 BERT-large，分别实现了 4.66% 和 3.07% 的相对提升，表明性能显著增强。
• 神经校正模型有效减少了自动标注的维基百科数据中的假阴性标签。
• 由此生成的 AnchorNER 数据集因规模大且质量高，显著提升了在多样化领域中的泛化能力。
• 该框架成功结合维基百科的弱监督与 DocRED 的强监督，以提升模型性能。
• 该方法在多个数据集上均表现出一致的性能增益，表明其在开放域设置下的鲁棒性与可扩展性。