[论文解读] "Translation can't change a name": Using Multilingual Data for Named Entity Recognition

Manaal Faruqui|arXiv (Cornell University)|May 4, 2014

Topic Modeling参考文献 21被引用 3

一句话总结

本文提出在低资源环境下，利用同种文字系统的多语言、单语语料库中的无监督词簇来提升命名实体识别（NER）性能。通过利用命名实体（尤其是人名和地名）在相关语言间具有的正字法稳定性，该方法显著提升了NER性能，其中在语言亲缘关系较近及领域内数据中效果最为显著。

ABSTRACT

Named Entities (NEs) are often written with no orthographic changes across different languages that share a common alphabet. We show that this can be leveraged so as to improve named entity recognition (NER) by using unsupervised word clusters from secondary languages as features in state-of-the-art discriminative NER systems. We observe significant increases in performance, finding that person and location identification is particularly improved, and that phylogenetically close languages provide more valuable features than more distant languages.

研究动机与目标

• 解决低资源语言中命名实体识别（NER）训练数据手动标注稀缺的问题。
• 探究是否可利用辅助语言的无监督词簇来提升目标语言的NER性能。
• 探究语言亲缘关系与数据领域对NER跨语言迁移效果的影响。
• 证明正字法稳定的命名实体（如人名与地名）可作为有效的跨语言特征。
• 在标准NER基准上，使用英语、德语、荷兰语、西班牙语等多种语言评估该方法。

提出的方法

• 使用分布相似性与形态相似性特征，在来自辅助语言的大规模单语语料库上训练无监督词簇。
• 将所得词簇作为附加特征引入判别式NER系统，具体为线性链条件随机场（CRF）。
• 整合使用相同文字系统（如德语、英语、法语）的语言的词簇，以提升对未登录词命名实体的泛化能力。
• 利用专有名词（如“Barack Obama”）在正字法相似语言中保持拼写一致的特性，实现知识迁移。
• 在词簇训练中同时使用领域内（CoNLL）与领域外（WMT-2012新闻评论）的单语语料库。
• 通过标准NER测试集上的F1分数评估性能，对比使用与不使用跨语言词簇特征的模型。

实验结果

研究问题

• RQ1 能否通过辅助语言的无监督词簇提升目标语言在标注数据有限情况下的NER性能？
• RQ2 目标语言与辅助语言之间的语言亲缘关系（系统发育相近性）是否会影响跨语言词簇带来的性能增益？
• RQ3 辅助语言语料库的领域（领域内 vs. 领域外）如何影响所迁移特征的有效性？
• RQ4 哪些命名实体类型（人名、地名、组织名、其他）最受益于跨语言词簇？
• RQ5 正字法稳定的命名实体（如专有名称）在跨语言NER泛化中发挥了多大程度的贡献？

主要发现

• 使用辅助语言的词簇显著提升了NER的F1分数，人名实体平均提升2.75 F1分，地名实体提升2.25 F1分。
• 性能提升最大的是人名（PER）和地名（LOC）实体，而其他（MISC）实体因跨语言间词汇差异较大，改善有限。
• 语言亲缘关系较近的语言（如德语与荷兰语）提供的特征更有效，表明语言相似性可增强迁移能力。
• 领域内辅助语料库（如CoNLL数据）带来的性能提升显著高于领域外数据（如WMT-2012），凸显领域一致性的重要性。
• 测试集中大量未登录词（OOV）命名实体被基于辅助语言训练的词簇所覆盖，尤其在人名与地名上表现突出。
• 该方法在所有评估语言（英语、德语、荷兰语、西班牙语）中均取得统计显著的性能提升，其中德语与荷兰语NER系统的增益最为显著。