[论文解读] Neural Reranking for Named Entity Recognition

Jie Yang, Yue Zhang+1 more|arXiv (Cornell University)|Jul 17, 2017

Topic Modeling被引用 9

一句话总结

本文提出了一种用于命名实体识别（NER）的神经重排序模型，通过在实体提及被替换为其类型（如 PER、LOC）的压缩序列上使用LSTM和CNN学习全局句子模式，从而提升NER性能。通过利用这些模式化序列的深度神经表示，该模型显著提高了F1分数，在CoNLL 2003基准上实现了91.62%的最佳报告结果，优于所有离散和神经基线模型。

ABSTRACT

We propose a neural reranking system for named entity recognition (NER). The basic idea is to leverage recurrent neural network models to learn sentence-level patterns that involve named entity mentions. In particular, given an output sentence produced by a baseline NER model, we replace all entity mentions, such as extit{Barack Obama}, into their entity types, such as extit{PER}. The resulting sentence patterns contain direct output information, yet is less sparse without specific named entities. For example, "PER was born in LOC" can be such a pattern. LSTM and CNN structures are utilised for learning deep representations of such sentences for reranking. Results show that our system can significantly improve the NER accuracies over two different baselines, giving the best reported results on a standard benchmark.

研究动机与目标

• 通过利用涉及实体类型的全局句子模式来提升命名实体识别（NER）性能，这些模式是标准序列标注模型难以捕捉的。
• 通过将候选序列中的特定命名实体替换为通用的实体类型标签，缓解由特定命名实体引起的稀疏性和噪声问题。
• 开发一种神经重排序框架，利用RNN和CNN学习压缩句子模式的深度表示，以改进候选标签序列的评分。
• 通过结合基线预测与神经重排序，在标准NER基准上实现最先进性能。
• 探索辅助神经特征（如字符级嵌入和位置信息）在丰富序列表示方面的应用。

提出的方法

• 将基线输出序列中预测的命名实体提及替换为其对应实体类型标签（如 PER、ORG、LOC、MISC），形成‘压缩’的句子模式。
• 使用双向LSTM对压缩句子模式中的实体类型和词序列进行编码，以捕捉长距离依赖关系。
• 整合卷积神经网络（CNN）从编码表示中提取局部n-gram特征，以提升模式区分能力。
• 将字符级嵌入作为辅助特征，以增强词表示学习，尤其针对罕见或未登录词（OOV）实体。
• 通过混合重排序策略将重排序器得分与基线模型概率相结合，以提升最终预测的置信度。
• 在基线NER模型生成的候选序列上端到端训练重排序器，使用交叉熵损失优化正确实体类型和边界预测。

实验结果

研究问题

• RQ1 学习涉及实体类型的全局句子模式是否能超越局部序列标注，在NER性能上实现提升？
• RQ2 在候选序列中将命名实体替换为其类型，是否能减少稀疏性并提升神经重排序的泛化能力？
• RQ3 基于LSTM和CNN的神经重排序器是否能有效学习并评分比基线模型更合理的句子模式？
• RQ4 辅助神经特征（如字符级嵌入）在多大程度上能增强重排序器区分正确与错误实体预测的能力？
• RQ5 所提出的神经重排序框架是否在CoNLL 2003等标准NER基准上实现了最先进性能？

主要发现

• 所提出的神经重排序模型在CoNLL 2003测试集上实现了91.62%的F1分数，为迄今报告的最佳结果。
• 该模型显著优于强大的离散CRF基线（F1：90.77%）和最先进神经基线（F1：91.25%）。
• 重排序器成功纠正了实体边界错误和实体类型错误，这一结果在开发集的定性示例中得到验证。
• 使用压缩句子模式（即实体被其类型替代）使模型能够学习到更鲁棒且更具泛化能力的句子级模式。
• CNN与字符级特征的整合增强了模型在长句中区分候选序列细微差异的能力。
• 混合重排序策略（结合基线概率与重排序器得分）相比仅依赖基线，能带来更准确的最终预测。