[论文解读] Neural Entity Reasoner for Global Consistency in NER

Xiaoxiao Yin, Daqi Zheng+2 more|arXiv (Cornell University)|Sep 30, 2018

Topic Modeling参考文献 22被引用 8

一句话总结

本文提出神经实体推理器（NE-Reasoner），一种多层神经网络框架，通过符号候选池和推理机制实现跨句推理，提升命名实体识别（NER）中的全局一致性。该方法在CoNLL-2003英文NER基准上达到最先进性能，并通过利用句间实体一致性，在中文法院判决NER任务中提升了召回率。

ABSTRACT

We propose Neural Entity Reasoner (NE-Reasoner), a framework to introduce global consistency of recognized entities into Neural Reasoner over Named Entity Recognition (NER) task. Given an input sentence, the NE-Reasoner layer can infer over multiple entities to increase the global consistency of output labels, which then be transfered into entities for the input of next layer. NE-Reasoner inherits and develops some features from Neural Reasoner 1) a symbolic memory, allowing it to exchange entities between layers. 2) the specific interaction-pooling mechanism, allowing it to connect each local word to multiple global entities, and 3) the deep architecture, allowing it to bootstrap the recognized entity set from coarse to fine. Like human beings, NE-Reasoner is able to accommodate ambiguous words and Name Entities that rarely or never met before. Despite the symbolic information the model introduced, NE-Reasoner can still be trained effectively in an end-to-end manner via parameter sharing strategy. NE-Reasoner can outperform conventional NER models in most cases on both English and Chinese NER datasets. For example, it achieves state-of-art on CoNLL-2003 English NER dataset.

研究动机与目标

• 解决序列标注模型在文档中无法维持实体间全局一致性的局部决策局限性。
• 使神经模型能够跨句子对多个实体进行推理，模拟人类阅读时整合全文上下文的行为。
• 引入符号记忆（候选池）以在各层之间存储和检索实体级信息，提升推理能力。
• 构建一个端到端可训练的框架，结合神经学习与符号推理，提升对罕见或歧义实体的泛化能力。
• 通过句间一致性精炼预测，在英文和中文NER基准上均实现更优性能。

提出的方法

• 采用多层架构，每层独立执行NER，结果传递至共享候选池。
• 使用符号记忆（候选池）存储前序层识别出的实体，实现跨层引用。
• 实现一种交互聚合机制，通过相似度评分将局部词表示与全局实体关联。
• 应用推理模块，计算局部预测与候选实体之间的相似度得分，以在深层中精炼决策。
• 采用参数共享，实现在保持符号推理能力的同时实现端到端训练。
• 利用深层架构，逐步将实体集合从粗粒度细化至细粒度识别。

实验结果

研究问题

• RQ1 神经模型能否通过跨句对多个实体进行推理，有效维持NER中的全局一致性？
• RQ2 引入符号候选池在识别歧义或罕见命名实体方面有何改善作用？
• RQ3 多层推理机制在NER任务中相较于单次遍历的序列标注模型，性能提升程度如何？
• RQ4 所提出的推理机制是否能提升低资源或未登录词实体的识别性能？
• RQ5 该框架是否具备跨语言和跨领域的泛化能力，例如在具有复杂实体模式的中文法律文本中？

主要发现

• NE-Reasoner在CoNLL-2003英文NER数据集上达到最先进F1分数，证明其具备卓越的全局一致性。
• 在中文法院判决NER数据集上，模型将召回率从96.13%提升至97.26%，同时保持高精度，显示出对漏检实体的增强检测能力。
• 通过利用先前识别实体的上下文，模型在后续层中成功识别出罕见或此前未见的姓名（如“Guang”作为姓氏）。
• 推理机制通过比较与已知实体的相似度得分，纠正了误分类——例如将“Salem Bitar”从组织更正为人物。
• 消融实验表明，推理模块是性能提升的关键，当手动更改名称或相似度得分时，结果保持不变。
• 通过利用句间上下文，模型减少了假阴性，尤其对仅出现一次但与已知实体具有强上下文相似性的实体表现更优。