[论文解读] Sharing Network Parameters for Crosslingual Named Entity Recognition.

Rudramurthy, Mitesh M. Khapra+1 more|arXiv (Cornell University)|Jul 1, 2016

Topic Modeling参考文献 28被引用 8

一句话总结

本文提出一种神经网络模型用于跨语言命名实体识别，通过在资源丰富语言（L₂）与资源匮乏语言（L₁）之间共享词、字符和解码器参数，使后者能够从前者丰富的标注数据中受益，而无需人工设计特征。该方法通过在两种语言上联合训练，显著提升了低资源环境下的命名实体识别性能，优于仅在有限的L₁数据上训练的模型。

ABSTRACT

Most state of the art approaches for Named Entity Recognition rely on hand crafted features and annotated corpora. Recently Neural network based models have been proposed which do not require handcrafted features but still require annotated corpora. However, such annotated corpora may not be available for many languages. In this paper, we propose a neural network based model which allows sharing the decoder as well as word and character level parameters between two languages thereby allowing a resource fortunate language to aid a resource deprived language. Specifically, we focus on the case when limited annotated corpora is available in one language ($L_1$) and abundant annotated corpora is available in another language ($L_2$). Sharing the network architecture and parameters between $L_1$ and $L_2$ leads to improved performance in $L_1$. Further, our approach does not require any hand crafted features but instead directly learns meaningful feature representations from the training data itself. We experiment with 4 language pairs and show that indeed in a resource constrained setup (lesser annotated corpora), a model jointly trained with data from another language performs better than a model trained only on the limited corpora in one language.

研究动机与目标

• 解决低资源语言命名实体识别中标注语料有限的挑战。
• 通过直接从数据中学习表示，消除对手工设计特征的依赖。
• 通过利用高资源语言的丰富标注数据，提升低资源语言的命名实体识别性能。
• 设计一种在词、字符和解码器层级共享参数的机制，实现在语言间的知识迁移。

提出的方法

• 两种语言均使用共享的神经网络架构，跨语言共享词和字符级别的嵌入表示。
• 解码器层在语言间共享，以实现命名实体标签的联合预测。
• 词和字符表示在语言间联合学习，从而实现语言模式的迁移。
• 模型在L₁（低资源）和L₂（高资源）语料上进行联合训练，以提升泛化能力。
• 不使用任何手工设计特征，所有表示均从原始文本端到端学习。
• 该方法通过利用高资源语言的数据，实现零样本或少样本的迁移学习，从而提升低资源语言的性能。

实验结果

研究问题

• RQ1 在低资源设置下，通过在语言间共享网络参数是否能提升命名实体识别性能？
• RQ2 在高资源语言和低资源语言上进行联合训练，是否比仅在低资源语言上训练性能更优？
• RQ3 神经模型能否在无需手工设计特征的情况下学习到有效的跨语言表示？
• RQ4 在词、字符和解码器层级的参数共享在多大程度上提升了命名实体识别中的迁移学习效果？
• RQ5 该模型在语言距离各异的语言对上的表现如何？

主要发现

• 通过与高资源语言数据联合训练，该模型在低资源语言上实现了性能提升，优于仅在有限的L₁语料上训练的模型。
• 在词、字符和解码器层级的参数共享，有效实现了从高资源语言到低资源语言的知识迁移。
• 该方法消除了对手工设计特征的依赖，转而依赖从数据中端到端学习到的有意义表示。
• 在四组语言对上的实验表明，低资源环境下性能持续提升。
• 该模型在多种语言对上表现出鲁棒性，表明其跨语言迁移机制具有良好的泛化能力。