[论文解读] Named Entity Recognition for Novel Types by Transfer Learning

Lizhen Qu, Gabriela Ferraro+3 more|arXiv (Cornell University)|Oct 31, 2016

Topic Modeling参考文献 19被引用 11

一句话总结

本文提出 TransInit，一种用于在标签集不匹配的新领域中进行少样本命名实体识别的迁移学习方法。通过利用源域的 CRF 模型，并使用线性分类器学习源域与目标域实体类型之间的语义关联，TransInit 仅使用 125 条领域内训练句，即可实现相对于强基线模型高达 160% 的 F1 分数提升。

ABSTRACT

In named entity recognition, we often don't have a large in-domain training corpus or a knowledge base with adequate coverage to train a model directly. In this paper, we propose a method where, given training data in a related domain with similar (but not identical) named entity (NE) types and a small amount of in-domain training data, we use transfer learning to learn a domain-specific NE model. That is, the novelty in the task setup is that we assume not just domain mismatch, but also label mismatch.

研究动机与目标

• 解决在领域内标注数据稀缺且目标实体类型与源域不同时，训练有效 NER 模型的挑战。
• 克服标准领域自适应方法的局限性，后者假设源域与目标域的标签集完全相同。
• 通过建模源域与目标域命名实体类型之间的语义关系，实现在领域和标签集均不匹配情况下的迁移学习。
• 仅使用少量领域内训练样本，提升少样本 NER 性能，尤其在缺乏高覆盖知识库的情况下。
• 证明学习到的实体类型语义关联可有效指导低资源环境下的模型初始化与微调。

提出的方法

• 在大规模预标注的源域语料上训练一个线性链 CRF，以建立强基线模型。
• 使用一个两层神经网络学习源域与目标域命名实体类型之间的关联，其中第一层权重初始化自源模型的参数。
• 利用学习到的关联矩阵初始化目标域 CRF，以实现从源类型到目标类型的知识迁移。
• 在少量领域内标注数据上微调整个模型，更新所有参数以适应领域特定的模式。
• 探索消融变体，包括冻结底层并仅更新线性分类器，以评估特征迁移的影响。
• 通过更新神经网络的隐藏层来应对协变量偏移问题，相较于固定特征表示，可进一步提升性能。

实验结果

研究问题

• RQ1 当领域和标签集均不匹配时，迁移学习是否能有效弥合源域与目标域之间的差距？
• RQ2 当源域与目标域之间不存在直接标签重叠时，模型在学习源域与目标域命名实体类型语义关系方面表现如何？
• RQ3 与标准基线相比，迁移特征和标签关联在多大程度上能提升少样本 NER 性能？
• RQ4 在微调过程中更新相关网络的隐藏层是否优于冻结它们，尤其是在低资源条件下？
• RQ5 当源域与目标域在实体类型上完全无语义关联时（如 CADEC-CoNLL 场景），该方法的鲁棒性如何？

主要发现

• 在仅使用 125 条领域内句子进行训练时，TransInit 相对于强基线模型实现了高达 160% 的 F1 分数提升。
• 当训练样本少于 300 条时，TransInit 对于新实体类型的 F1 分数比基线模型 Embed 高出 10 倍，这得益于自动发现的语义关联。
• 该方法成功识别出有意义的类型对齐，例如将 DOCTOR 映射为 PERSON，将 ID 映射为 CARDINAL，即使源域与目标域之间不存在共享类型。
• 与基于 CCA 的方法相比，TransInit 在类型对齐方面表现更优，尤其在训练数据较少时，因其对语义相似性的建模更佳。
• 移除非线性隐藏层后性能显著提升，因为未经归一化的源概率会导致 tanh 函数激活饱和。
• 在微调过程中更新隐藏层可使 F1 分数比冻结它们高出最多 27%，证明了适应低层特征以应对协变量偏移的重要性。