[论文解读] Zero-Resource Cross-Domain Named Entity Recognition

Zihan Liu, Genta Indra Winata+1 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 23被引用 6

一句话总结

本文提出了一种零资源跨领域命名实体识别模型，该模型在目标领域无需任何外部有标签或无标签数据。通过结合多任务学习以检测命名实体，并采用实体专家混合（Mixture of Entity Experts, MoEE）框架处理模糊的实体类型，该模型在性能上接近依赖大量资源的最先进方法，展示了在低资源设置下的强大泛化能力。

ABSTRACT

Existing models for cross-domain named entity recognition (NER) rely on numerous unlabeled corpus or labeled NER training data in target domains. However, collecting data for low-resource target domains is not only expensive but also time-consuming. Hence, we propose a cross-domain NER model that does not use any external resources. We first introduce a Multi-Task Learning (MTL) by adding a new objective function to detect whether tokens are named entities or not. We then introduce a framework called Mixture of Entity Experts (MoEE) to improve the robustness for zero-resource domain adaptation. Finally, experimental results show that our model outperforms strong unsupervised cross-domain sequence labeling models, and the performance of our model is close to that of the state-of-the-art model which leverages extensive resources.

研究动机与目标

• 解决目标领域缺乏标注数据的低资源跨领域命名实体识别挑战。
• 克服现有无监督跨领域NER方法在源域和目标域均需外部无标签语料的局限性。
• 仅使用源域标注数据且不依赖任何外部资源，开发出在跨领域场景下具有良好泛化能力的模型。
• 提升在模糊上下文中识别命名实体并区分实体类型的能力。
• 在零资源设置下实现与计算资源密集型最先进模型相当的性能。

提出的方法

• 引入多任务学习目标，将标记分类为命名实体或非命名实体，以增强通用实体表征学习。
• 采用共享参数的BiLSTM-CRF架构，实现联合序列标注与实体检测。
• 设计一种实体专家混合（Mixture of Entity Experts, MoEE）框架，其中每个专家专精于特定实体类型，门控机制动态组合专家预测结果。
• 通过结合源域NER数据与辅助实体检测任务进行联合训练，以提升领域适应能力。
• 将MoEE模块应用于基于标记上下文聚合多个专家的表征，以改善对模糊实体类型的处理。
• 使用冻结的FastText嵌入或微调的BERT作为输入表征，并通过消融研究评估其影响。

实验结果

研究问题

• RQ1 跨领域NER模型是否能在目标领域完全无外部数据的情况下实现强大性能？
• RQ2 引入辅助实体检测目标的多任务学习在提升零资源领域适应方面有多有效？
• RQ3 实体专家混合（MoEE）框架是否能改善跨领域对模糊实体类型的识别？
• RQ4 所提出的模型与依赖源域和目标域大规模无标签语料的最先进模型相比表现如何？
• RQ5 使用冻结嵌入还是微调后的BERT在零资源NER中表现更优？

主要发现

• 在所有嵌入设置下，所提模型均优于强基准的无监督跨领域序列标注方法，包括Concept Tagger和Robust Sequence Tagger。
• 使用冻结的FastText嵌入时，模型在目标领域的F1得分为73.59，接近使用大量外部资源的最先进模型。
• 冻结的FastText嵌入设置下的模型性能优于未冻结嵌入，表明微调可能导致在源域上过拟合。
• MoEE模块有效处理了模糊实体，如图2中的置信度得分所示，像“Drudge”这样的标记会从多个专家（如PER和ORG）获得高注意力。
• 使用BERT特征的模型性能略低于冻结的FastText，可能是因为子词分词导致对序列标注至关重要的词级信息丢失。
• 多任务学习目标显著提升了模型在低资源领域中检测命名实体的能力，尤其在实体名称在不同领域间差异显著时效果更明显。