[论文解读] Neural Cross-Lingual Transfer and Limited Annotated Data for Named Entity Recognition in Danish

Barbara Plank|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 18被引用 5

一句话总结

本文提出了一种基于英语预训练模型和极少本地方语标注数据的神经跨语言迁移方法，用于丹麦语命名实体识别（NER）。通过在仅5,000至10,000条黄金标注丹麦语句子上微调双向LSTM模型，并利用多语言词嵌入，该方法在开发集上实现了70.8%的F1分数——超过零样本迁移和现有系统，表明有限的标注数据结合跨语言迁移可实现高效的低资源丹麦语NER。

ABSTRACT

Named Entity Recognition (NER) has greatly advanced by the introduction of deep neural architectures. However, the success of these methods depends on large amounts of training data. The scarcity of publicly-available human-labeled datasets has resulted in limited evaluation of existing NER systems, as is the case for Danish. This paper studies the effectiveness of cross-lingual transfer for Danish, evaluates its complementarity to limited gold data, and sheds light on performance of Danish NER.

研究动机与目标

• 为解决丹麦语NER缺乏公开可用的高质量标注数据的问题，该问题阻碍了现有系统的实证评估。
• 评估从英语NER模型进行跨语言迁移在低资源丹麦语NER中的有效性。
• 比较零样本迁移、使用本地方语数据的少样本学习以及微调策略在提升丹麦语NER性能方面的表现。
• 提供一个公开可用的丹麦语NER数据集和基准，以支持未来研究。

提出的方法

• 使用CoNLL 2003指南对通用依存树库中的丹麦语部分进行命名实体（PER、LOC、ORG、MISC）标注，实现0.9的Cohen's kappa评分者间一致性。
• 在英语CoNLL 2003数据上训练基于BiLSTM的神经NER模型，采用两种设置：中等规模（3.2k条句子）和大规模（14k条句子）。
• 通过多语言词嵌入（Polyglot）实现跨语言迁移，用于初始化丹麦语模型，从而支持零样本和少样本学习。
• 评估四种迁移策略：零样本迁移、使用Polyglot初始化的本地方语训练、英语与丹麦语数据联合训练，以及在英语预训练后对丹麦语进行微调。
• 使用小规模本地方语训练集（5,000和10,000个词）比较少样本学习与零样本迁移的性能，并评估数据量的影响。
• 使用开发集和测试集的F1分数评估性能，并对每类命名实体进行分析。

实验结果

研究问题

• RQ1 在多大程度上可以将现有的英语资源中的NER标注器迁移到丹麦语？
• RQ2 与标注极少量本地方语数据（零样本 vs 少样本学习）相比，跨语言迁移效果如何？
• RQ3 在使用跨语言迁移和有限黄金数据的情况下，丹麦语NER系统的准确率如何？
• RQ4 在少样本设置中，微调是否优于联合训练或直接迁移？
• RQ5 在跨语言迁移中，使用中等规模（vs 大规模）源数据是否能获得更好的性能？

主要发现

• 从英语资源进行零样本跨语言迁移，在中等规模源数据下于开发集上实现了58.29%的F1分数，优于从零开始在极小规模本地方语数据上训练的模型。
• 在英语预训练后对丹麦语进行微调的性能低于联合训练，表明联合学习比顺序适应更有效。
• 在迁移过程中仅增加10,000条本地方语句子，便使大规模源数据设置下的F1分数提升至70.82%，证明了有限黄金数据与跨语言迁移之间具有显著的互补性。
• 表现最佳的系统结合了中等规模英语源数据与10,000条本地方语丹麦语句子，在开发集上达到70.82%的F1分数，在测试集上达到66.0%的F1分数。
• 在所有实体类型中，神经BiLSTM模型的表现优于Polyglot和DKIE系统，除LOC类型外，Polyglot表现更优。
• 按实体类型分析显示，BiLSTM模型在PER上达到83.3%的F1分数，在ORG上达到71.8%，在MISC上达到60.0%，表明其在高频实体类型上表现优异。