[论文解读] Multi-Task Learning with Contextualized Word Representations for Extented Named Entity Recognition

Thai-Hoang Pham, Khai Mai+5 more|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 31被引用 3

一句话总结

本文提出了一种基于上下文词表示（ELMo）的端到端多任务学习框架，用于细粒度命名实体识别（FG-NER），在无需人工特征工程或词典构建的情况下实现了最先进性能。通过采用分层参数共享和独立神经语言模型，联合训练FG-NER与辅助任务（如短语切分和词性标注），该模型取得了83.35%的F1分数，超越了以往依赖大量人工投入的最先进系统。

ABSTRACT

Fine-Grained Named Entity Recognition (FG-NER) is critical for many NLP applications. While classical named entity recognition (NER) has attracted a substantial amount of research, FG-NER is still an open research domain. The current state-of-the-art (SOTA) model for FG-NER relies heavily on manual efforts for building a dictionary and designing hand-crafted features. The end-to-end framework which achieved the SOTA result for NER did not get the competitive result compared to SOTA model for FG-NER. In this paper, we investigate how effective multi-task learning approaches are in an end-to-end framework for FG-NER in different aspects. Our experiments show that using multi-task learning approaches with contextualized word representation can help an end-to-end neural network model achieve SOTA results without using any additional manual effort for creating data and designing features.

研究动机与目标

• 研究多任务学习在端到端神经网络中用于细粒度命名实体识别（FG-NER）的有效性。
• 评估在多任务序列标注中不同参数共享方案（嵌入共享、RNN共享、分层共享）对FG-NER的影响。
• 考察整合共享与非共享神经语言模型对FG-NER性能的影响。
• 在多任务学习设置下，比较上下文词表示（ELMo）与静态词嵌入（GloVe）在FG-NER中的表现。
• 在不依赖人工特征工程或外部词典的情况下，实现FG-NER的最先进性能。

提出的方法

• 基础模型采用CNN-BiLSTM-CRF架构，其词嵌入通过字符级CNN增强。
• 通过四种参数共享方案实现多任务学习：嵌入共享、RNN共享、分层共享以及非共享语言模型配置。
• 辅助任务包括词性标注、短语切分和命名实体识别（CoNLL与OntoNotes），分层共享结构允许任务特定的RNN和共享的CRF层。
• 通过ELMo获取上下文词表示，其可联合学习词表示与句子级依赖关系。
• 神经语言模型以跨任务共享或每任务独立的方式整合，以提升序列建模与泛化能力。
• 模型训练通过最小化负对数似然损失，解码使用Viterbi算法预测最可能的标签序列。

实验结果

研究问题

• RQ1 不同参数共享方案的多任务学习在端到端FG-NER中有多高效？
• RQ2 与静态词嵌入（GloVe）相比，使用上下文词表示（ELMo）是否能提升FG-NER性能？
• RQ3 整合共享与非共享神经语言模型对FG-NER性能有何影响？
• RQ4 端到端神经网络是否能在无需人工特征工程或词典构建的情况下实现FG-NER的最先进结果？
• RQ5 多任务学习在不同辅助任务（如词性标注、短语切分、命名实体识别）上的性能表现如何变化？

主要发现

• 采用非共享神经语言建模的分层共享多任务模型取得了最高的F1分数83.35%，超越了此前需要人工特征工程的最先进模型（83.14%）。
• 使用ELMo替代GloVe使基础模型的F1分数从81.51%提升至82.74%，表明上下文表示在识别长且复杂的命名实体方面具有显著优势。
• 分层共享方案优于嵌入共享与RNN共享模型，尤其在辅助任务与FG-NER差异较大时（如词性标注、短语切分），表明其具备更优的归纳偏置。
• 整合非共享神经语言模型的效果优于共享模型，尤其在多任务设置中，表明任务特定的语言建模有助于提升泛化能力。
• 表现最佳的模型在无需任何人工参与词典构建或手工特征设计的情况下实现了最先进性能，证实了端到端学习与多任务训练的有效性。
• 该模型在长且复杂的命名实体上表现出显著改进——例如，'Public Institution'的识别率从使用GloVe的80.00%提升至使用ELMo的95.00%，凸显了上下文表示的优势。