[论文解读] Named Entity Recognition with Extremely Limited Data

John F. Foley, Sheikh Muhammad Sarwar+1 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 22被引用 11

一句话总结

本文提出命名实体搜索（NES），将命名实体识别视为查询时检索任务，以应对极有限的标注数据。通过将标记视为文档并使用手工特征作为查询项，该方法在极少训练数据下仍能实现高效率，使用户可利用标准搜索引擎交互式、高效地检测罕见或小众实体类别。

ABSTRACT

Traditional information retrieval treats named entity recognition as a pre-indexing corpus annotation task, allowing entity tags to be indexed and used during search. Named entity taggers themselves are typically trained on thousands or tens of thousands of examples labeled by humans. However, there is a long tail of named entities classes, and for these cases, labeled data may be impossible to find or justify financially. We propose exploring named entity recognition as a search task, where the named entity class of interest is a query, and entities of that class are the relevant "documents". What should that query look like? Can we even perform NER-style labeling with tens of labels? This study presents an exploration of CRF-based NER models with handcrafted features and of how we might transform them into search queries.

研究动机与目标

• 解决在极少数标注数据下对罕见或小众实体类别进行命名实体识别（NER）的挑战。
• 克服传统 NER 模型依赖数千个标注样本的局限，而这些样本对长尾实体类型往往难以获取。
• 探索一种交互式、查询时的 NER 方法，避免为每个新实体类别预先训练分类器。
• 使专家用户能够动态检测如“地中海岛屿”或“香烟品牌”等实体，而无需事先训练模型。
• 证明使用搜索引擎基于实体类别查询对标记进行排序的可行性与有效性，即使仅有几十个标注样本。

提出的方法

• 将语料库中的每个标记视为文档，并将其特征（如词性、词形、n-gram）表示为搜索索引中的术语。
• 通过组合手工特征（如词形、词性标签、Brown 聚类嵌入）构建实体类别的查询。
• 以基于条件随机场（CRF）的 NER 模型作为基线，并将其特征集转换为检索模型，其中特征权重决定查询项权重。
• 应用标准信息检索技术（如 BM25）根据标记与给定实体类别查询的相关性进行打分。
• 通过仅选择最具信息量的特征（如前 1000 个）来限制模型规模，从而在不显著损失性能的前提下提升效率。
• 采用类似主动学习的交互机制：用户根据排序结果迭代优化查询，实现对稀疏实体类别的探索。

实验结果

研究问题

• RQ1 如何将基于 CRF 的 NER 模型与手工特征有效转换为检索模型，使标记作为文档？
• RQ2 当仅有少量标注样本时，能否为用户交互生成合理的标记排序？
• RQ3 能否使 NER 模型足够小，以便由搜索引擎高效执行而不损失有效性？
• RQ4 在即兴、基于检索的 NER 环境中，哪些手工 NER 特征最为有效？

主要发现

• 该方法在仅使用 1000 个特征的模型中实现了与完整模型几乎相同的性能，表明模型压缩不会显著降低有效性。
• 对于最多 500 个查询项，查询执行时间保持在 1 秒以内；即使达到 5000 个查询项，也仅需不到 10 分钟，使系统适用于交互式使用。
• 在 QA-List 数据集上，表现最佳的特征为“右侧词语”、“左侧词语”、“字符 n-gram”、“词形”以及“Brown 聚类嵌入”。
• 在 QA-List 数据集上，交互式方法与不确定样本基线的性能相当，验证了该方法在罕见和复杂实体类别上的有效性。
• 下采样模型的学习曲线与完整模型几乎无法区分，表明仅需几百次交互即可达到高性能。
• 该系统使用约几百个关键特征即可在数分钟内处理整个 AQUAINT 语料库（CPU 分钟级），而传统 CRF 训练则需数小时。