[论文解读] Neural Adaptation Layers for Cross-domain Named Entity Recognition

Bill Yuchen Lin, Wei Lu|arXiv (Cornell University)|Oct 15, 2018

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出轻量级神经适应层——词、句子和输出适应层——在无需对源域数据微调的情况下，实现高效的跨领域命名实体识别。通过引入一个可学习的超参数 ψ 来控制知识迁移程度，该方法在基准 NER 数据集上显著优于现有迁移学习方法，展现出在计算开销极小的情况下强大的领域泛化能力。

ABSTRACT

Recent research efforts have shown that neural architectures can be effective in conventional information extraction tasks such as named entity recognition, yielding state-of-the-art results on standard newswire datasets. However, despite significant resources required for training such models, the performance of a model trained on one domain typically degrades dramatically when applied to a different domain, yet extracting entities from new emerging domains such as social media can be of significant interest. In this paper, we empirically investigate effective methods for conveniently adapting an existing, well-trained neural NER model for a new domain. Unlike existing approaches, we propose lightweight yet effective methods for performing domain adaptation for neural models. Specifically, we introduce adaptation layers on top of existing neural architectures, where no re-training using the source domain data is required. We conduct extensive empirical studies and show that our approach significantly outperforms state-of-the-art methods.

研究动机与目标

• 为解决神经 NER 模型在应用于新领域（如社交媒体）时性能下降的问题。
• 克服现有迁移学习方法的局限性，包括对共享输入/输出空间的刚性假设，以及在源数据上微调的需求。
• 开发一种轻量、高效的适应机制，以在适应目标领域的同时保留预训练源模型的知识。
• 通过引入专用的适应层，在输入和输出层面实现领域自适应，以弥合领域差异。
• 提供一种可泛化的框架，适用于 NLP 中其他跨领域结构化预测任务。

提出的方法

• 引入词适应层，学习源域与目标域词嵌入之间的线性变换，实现领域不变表示。
• 采用双向 LSTM 的句子适应层，以建模句子级别的上下文领域差异，提升源域与目标域输入序列之间的对齐。
• 在 LSTM 与 CRF 层之间添加输出适应层，以建模不同领域间标签分布的结构差异。
• 使用单一可学习超参数 ψ 控制来自源模型的知识迁移程度，实现灵活适应。
• 在预训练的 BLSTM-CRF 模型之上应用适应层，而不微调原始模型权重，确保高效性与可重用性。
• 仅使用标注的目标域数据学习适应层，避免在适应阶段使用源域数据。

实验结果

研究问题

• RQ1 我们能否在不微调源域模型的情况下提升跨领域 NER 性能？
• RQ2 模块化、分层的适应策略在输入、隐层和输出层面弥合领域差异方面有多有效？
• RQ3 我们能否通过轻量、即插即用的机制，实现优于现有迁移学习基线（如 INIT 和 MULT）的性能？
• RQ4 超参数 ψ 如何影响保留源知识与适应目标领域之间的权衡？
• RQ5 所提出的方法能否泛化到 NER 以外的其他结构化预测任务？

主要发现

• 所提方法在多个跨领域 NER 基准上显著优于最先进的迁移学习基线，包括 INIT 和 MULT。
• 消融实验确认，每个适应层（词、句子、输出）均独立且累积地贡献性能提升。
• 即使在源域与目标域在词汇和标签分布上存在显著差异时，该方法仍能实现优异性能。
• 模型保持高效率，无需对源数据重新训练，仅需在目标数据上微调，适用于现实世界部署。
• 超参数 ψ 能有效控制知识迁移，且其最优值在不同领域对之间具有鲁棒性。
• 该方法泛化良好，可应用于任何预训练的神经 NER 模型，无需修改架构。