[论文解读] Transfer Learning for Sequence Labeling Using Source Model and Target Data

Lingzhen Chen, Alessandro Moschitti|arXiv (Cornell University)|Feb 14, 2019

Topic Modeling参考文献 20被引用 16

一句话总结

本文提出了一种用于序列标注的迁移学习方法，可在无法访问源数据的情况下，将预训练的源模型适应到具有新实体类别的目标领域。该方法引入了一种神经适配器，用于对齐源和目标的标签分布，显著提升了新类别的性能——尤其在目标数据有限时，I-CAB数据集上F1值最高提升10.30分，CONLL-2003数据集上提升1.83分。

ABSTRACT

In this paper, we propose an approach for transferring the knowledge of a neural model for sequence labeling, learned from the source domain, to a new model trained on a target domain, where new label categories appear. Our transfer learning (TL) techniques enable to adapt the source model using the target data and new categories, without accessing to the source data. Our solution consists in adding new neurons in the output layer of the target model and transferring parameters from the source model, which are then fine-tuned with the target data. Additionally, we propose a neural adapter to learn the difference between the source and the target label distribution, which provides additional important information to the target model. Our experiments on Named Entity Recognition show that (i) the learned knowledge in the source model can be effectively transferred when the target data contains new categories and (ii) our neural adapter further improves such transfer.

研究动机与目标

• 解决预训练序列标注模型在出现新型实体类别的新领域中适应的挑战。
• 在无法访问源训练数据的前提下，实现从源模型到目标模型的知识迁移。
• 缓解引入新类别时出现的灾难性遗忘与标注不一致问题。
• 提升对新实体类型的性能表现，尤其在标注目标数据稀缺时。
• 证明该方法在命名实体识别之外的其他序列标注任务中的泛化能力。

提出的方法

• 通过为未见类别添加新的输出神经元，并使用迁移的源模型权重进行初始化，在目标数据上微调预训练的BLSTM-CRF模型。
• 引入一种神经适配器，将源模型的隐藏状态与目标模型的输入连接，实现特征层面的知识迁移。
• 在适配器中使用双向LSTM，以编码源与目标标签分布之间的上下文差异。
• 以端到端方式训练目标模型，同时保持源模型参数冻结，防止参数更新。
• 使用源模型参数初始化新输出层神经元，并在目标数据上进行微调，涵盖已见和未见类别。
• 在推理阶段应用CRF解码，以保持目标任务中序列的一致性。

实验结果

研究问题

• RQ1 当无法访问源数据时，预训练的序列标注模型能否有效适应具有新型实体类别的新领域？
• RQ2 从源模型进行参数初始化，对目标领域中新类别的性能有何影响？
• RQ3 神经适配器在有限标注目标数据条件下，对迁移性能的提升程度如何？
• RQ4 适配器在适应新标签时，是否有助于减轻对先前学习类别的遗忘？
• RQ5 该方法在不同序列标注任务和数据集上的泛化能力如何？

主要发现

• 所提出的迁移学习方法显著提升了新实体类别上的F1分数，在CONLL-2003数据集上平均提升1.83分，在I-CAB数据集上提升10.30分，优于基线模型。
• 神经适配器在新类别上始终表现优异，尤其在仅使用10%–25%目标数据进行训练时效果更明显。
• 加入适配器的模型在微调过程中收敛更快，学习曲线更平滑且更稳定。
• 适配器有效缓解了标注不一致的影响，例如当新类别的表面形式此前被不同标注或未标注时。
• 该方法在适应新类别时，能有效防止对先前学习类别的灾难性遗忘。
• 该方法在不同实体类型（LOC、PER、ORG、MISC、GPE）上均表现出良好的泛化能力，两类数据集上所有类别均获得一致的性能提升。