[论文解读] POLYGLOT-NER: Massive Multilingual Named Entity Recognition

Rami Al‐Rfou, Vivek Kulkarni+2 more|arXiv (Cornell University)|Oct 14, 2014

Topic Modeling参考文献 1被引用 38

一句话总结

本文提出 POLYGLOT-NER，一种无需人工标注数据集或语言特定资源的、针对 40 种主要语言的多语言命名实体识别（NER）系统。该方法仅利用维基百科链接结构和 Freebase 属性，通过神经词嵌入、自动数据合成以及语言无关的预处理（过采样与表面形式匹配），在标准基准上实现了具有竞争力的性能，并通过统计机器翻译实现远距离监督，使低资源语言的评估成为可能。

ABSTRACT

The increasing diversity of languages used on the web introduces a new level of complexity to Information Retrieval (IR) systems. We can no longer assume that textual content is written in one language or even the same language family. In this paper, we demonstrate how to build massive multilingual annotators with minimal human expertise and intervention. We describe a system that builds Named Entity Recognition (NER) annotators for 40 major languages using Wikipedia and Freebase. Our approach does not require NER human annotated datasets or language specific resources like treebanks, parallel corpora, and orthographic rules. The novelty of approach lies therein - using only language agnostic techniques, while achieving competitive performance. Our method learns distributed word representations (word embeddings) which encode semantic and syntactic features of words in each language. Then, we automatically generate datasets from Wikipedia link structure and Freebase attributes. Finally, we apply two preprocessing stages (oversampling and exact surface form matching) which do not require any linguistic expertise. Our evaluation is two fold: First, we demonstrate the system performance on human annotated datasets. Second, for languages where no gold-standard benchmarks are available, we propose a new method, distant evaluation, based on statistical machine translation.

研究动机与目标

• 通过提供可扩展的、低资源语言的多语言 NER 支持，解决多语言 NER 系统稀缺的问题，超越英语的限制。
• 克服在低资源语言中构建 NER 所需人工标注数据集和语言特定语言资源的瓶颈。
• 开发一种可自动生成训练数据并仅使用语言无关技术训练 NER 模型的系统。
• 实现缺乏标准基准的低资源语言中 NER 性能的可靠评估。
• 在包括塞尔维亚语、印度尼西亚语和泰语等低资源语言在内的多种语言中，展示一致的性能表现。

提出的方法

• 学习语言无关的神经词嵌入，以在 40 种语言中编码语义和句法特征。
• 通过识别链接到 Freebase 识别的实体页面的锚文本，从维基百科中提取候选命名实体提及。
• 应用两个语言无关的预处理阶段：过采样以解决类别不平衡问题，以及精确表面形式匹配以提高正样本覆盖率。
• 利用维基百科内部链接结构和 Freebase 属性元数据自动构建训练数据集，避免依赖语言特定工具。
• 通过将标准基准标注翻译为目标语言，利用统计机器翻译（SMT）进行远距离评估，并测量对齐准确率。
• 在自动构建的数据集上使用标准 NER 评估指标（EM 和 EA）训练并评估序列标注模型（如 CRF 或 BiLSTM-CRF）。

实验结果

研究问题

• RQ1 能否在不依赖人工标注数据集或语言特定语言资源的前提下，构建多语言 NER 系统？
• RQ2 语言无关的数据增强技术（如过采样和表面形式匹配）在提升低资源语言 NER 性能方面的有效性如何？
• RQ3 统计机器翻译在多大程度上可用于为缺乏标准基准的低资源语言生成可靠的评估集？
• RQ4 维基百科规模和 Freebase 属性覆盖率与不同语言 NER 性能之间的相关性如何？
• RQ5 在多语言设置中，各类实体（PERSON、LOCATION、ORGANIZATION）的性能差异如何？

主要发现

• 该系统在人工标注基准上实现了具有竞争力的性能，尤其在英语、西班牙语和德语中优于 OpenNLP 和 NLTK 等现有工具。
• 语言无关的预处理阶段（过采样与表面形式匹配）在标准基准数据集上将 F1 分数至少提升了 45%，减少了维基百科链接启发式方法带来的噪声。
• 更大的维基百科版本（如英语、法语、西班牙语）可生成更优的词嵌入和更丰富的训练数据多样性，将 EM 分数的假阴性率降低 0.6。
• 性能因实体类型而异，PERSON 识别最准确，其次是 LOCATION 和 ORGANIZATION，但 Freebase 属性分布的偏差可能影响预测（例如，越南语对 LOCATION 的标注过度）。
• 基于统计机器翻译的远距离评估提供了一个可靠的性能代理，尽管翻译质量和实体保留程度会影响指标准确性，尤其在韩语、希腊语和泰语等语言中。
• 该系统在 40 种语言中均表现出一致性能，包括塞尔维亚语、印度尼西亚语、泰语、马来语和希伯来语等低资源语言，且已公开发布开源模型供公众使用。