[论文解读] TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition

Bill Yuchen Lin, Dong-Ho Lee+5 more|arXiv (Cornell University)|Apr 16, 2020

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出了'实体触发'——一种简短的解释性短语，可提示人类识别命名实体——并提出了触发匹配网络（TMN），一种联合学习触发表示并执行软匹配以提升少样本命名实体识别（NER）性能的模型。仅使用20%的触发标注数据，即可达到使用70%标准标注数据的性能水平，显著降低了标注成本，同时增强了模型的可解释性。

ABSTRACT

Training neural models for named entity recognition (NER) in a new domain often requires additional human annotations (e.g., tens of thousands of labeled instances) that are usually expensive and time-consuming to collect. Thus, a crucial research question is how to obtain supervision in a cost-effective way. In this paper, we introduce "entity triggers," an effective proxy of human explanations for facilitating label-efficient learning of NER models. An entity trigger is defined as a group of words in a sentence that helps to explain why humans would recognize an entity in the sentence. We crowd-sourced 14k entity triggers for two well-studied NER datasets. Our proposed model, Trigger Matching Network, jointly learns trigger representations and soft matching module with self-attention such that can generalize to unseen sentences easily for tagging. Our framework is significantly more cost-effective than the traditional neural NER frameworks. Experiments show that using only 20% of the trigger-annotated sentences results in a comparable performance as using 70% of conventional annotated sentences.

研究动机与目标

• 通过引入一种新型解释性监督形式，降低训练神经网络NER模型时人工标注数据的高昂成本。
• 探究实体触发——即提示人类识别实体的短语——是否可作为有效且低成本的监督信号。
• 开发一种模型，联合学习触发表示并执行软匹配，以泛化到未见过的句子。
• 通过将实体触发与标准实体标注相结合，提升NER的泛化能力和可解释性。
• 公开发布一个众包构建的14,708条触发数据集，涵盖两个基准NER数据集，供社区使用。

提出的方法

• 在两个主流NER数据集上众包收集了14,708条实体触发，其中触发是简短且语义有意义的短语，可提示实体识别（例如，'had ... lunch at'用于餐厅实体）。
• 提出了触发匹配网络（TMN），一种三组件框架：触发编码器、带有自注意力机制的语义触发匹配模块，以及序列标注器。
• 分两个阶段训练TMN：首先联合优化触发分类器与软匹配模块，然后利用对编码后的句子和学习到的触发表示的注意力机制，进一步优化标注器。
• 使用自注意力机制动态匹配未标注句子中的触发与学习到的触发表示，从而实现对未见样本的有效泛化。
• 同时利用实体标注和触发标注作为监督信号，使模型能从更少的标注样本中学习到模式。
• 设计软匹配模块，基于语义相似度而非仅词面重叠，识别新句子中的相关触发。

实验结果

研究问题

• RQ1 实体触发——即解释人类为何识别某个实体的短语——是否可作为训练NER模型的有效、低成本监督信号？
• RQ2 联合学习触发表示与软匹配是否能提升少样本NER设置下的泛化能力？
• RQ3 增强触发的模型是否能在显著减少标注数据的前提下，实现与完全监督模型相当的性能？
• RQ4 与标准神经NER模型相比，引入触发如何提升模型的可解释性？
• RQ5 所提出的框架是否可借助可迁移的触发模式，扩展至低资源领域或语言？

主要发现

• 仅使用20%的触发标注句子，即可达到使用70%标准标注句子的NER性能，显著降低了标注成本。
• 触发匹配网络（TMN）在基准数据集上实现了最先进性能，且在极低数据量下优于标准神经NER基线模型。
• 通过匹配语义触发，模型能有效泛化到未见过的句子，即使实体名称被遮蔽或替换为随机标记。
• 引入触发显著提升了模型可解释性，模型能够使用人类可理解的提示短语来识别和解释预测结果。
• 公开发布的14,708条触发众包数据集，可为未来低资源与可解释NER研究提供支持。
• 该框架与现有NER流水线兼容，可与远程监督、主动学习等其他技术结合使用。