[论文解读] Self-Attention Gazetteer Embeddings for Named-Entity Recognition

Stanislav Peshterliev, Christophe Dupuy+1 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 27被引用 4

一句话总结

本文提出GazSelfAttn，一种新颖的名录嵌入方法，通过自注意力机制与匹配跨度编码提升命名实体识别（NER）性能。通过将这些组件与Bi-LSTM和CRF模型结合，并利用Wikidata获取高质量实体列表，该方法在CoNLL-03上实现F1提升0.52（92.34→92.86），在Ontonotes 5上实现F1提升0.21（89.11→89.32），达到当前最先进水平，且无需采用HSCRF等复杂架构。

ABSTRACT

Recent attempts to ingest external knowledge into neural models for named-entity recognition (NER) have exhibited mixed results. In this work, we present GazSelfAttn, a novel gazetteer embedding approach that uses self-attention and match span encoding to build enhanced gazetteer embeddings. In addition, we demonstrate how to build gazetteer resources from the open source Wikidata knowledge base. Evaluations on CoNLL-03 and Ontonotes 5 datasets, show F1 improvements over baseline model from 92.34 to 92.86 and 89.11 to 89.32 respectively, achieving performance comparable to large state-of-the-art models.

研究动机与目标

• 通过自注意力机制与匹配跨度编码增强名录嵌入，以提升命名实体识别（NER）性能。
• 开发一种可扩展的方法，利用Wikidata构建高质量名录，通过流行度筛选实体以减少歧义。
• 证明即使已使用大型语言模型（如ELMo），增强的名录嵌入仍可提升NER性能。
• 实现名录嵌入与标准序列模型（如Bi-LSTM-CRF）的端到端训练，避免使用HSCRF等复杂架构。
• 通过消融研究评估名录嵌入模块中各组件的贡献。

提出的方法

• 利用自注意力机制对多个名录匹配结果进行处理，整合单标记与多标记跨度的表示。
• 应用匹配跨度编码以在输入序列中表示每个匹配实体的位置与类型。
• 通过可学习的变换计算最终的名录嵌入，输出维度为128维。
• 从Wikidata中提取名录，利用instance_of关系，并通过站点链接数量进行过滤，优先保留流行实体。
• 将嵌入结果与Bi-LSTM输入拼接，并使用Adam优化器与早停策略，与CRF层联合训练。
• 通过消融研究移除自注意力、跨度编码或单标记匹配等组件，以评估其独立贡献。

实验结果

研究问题

• RQ1 自注意力机制与匹配跨度编码是否能在标准的独热编码或简单嵌入方法之外，进一步提升名录嵌入在NER任务中的表现？
• RQ2 将单标记与多标记匹配统一表示为一个嵌入，对NER性能有何影响？
• RQ3 基于Wikidata的名录（尤其是按流行度筛选后）在多大程度上提升了NER的鲁棒性与准确性？
• RQ4 所提出的GazSelfAttn方法是否能在不依赖复杂CRF或分类器头的情况下，实现与大型最先进模型相当的性能？
• RQ5 GazSelfAttn架构中的哪些组件（如自注意力、跨度编码）对性能提升贡献最大？

主要发现

• 当与ELMo嵌入结合时，GazSelfAttn在CoNLL-03上的F1从92.34提升至92.86，相对提升0.52点。
• 在Ontonotes 5上，该方法将F1从89.11提升至89.32，提升0.21点，表明在不同数据集上均具有一致的改进效果。
• 消融研究显示，移除单标记匹配会导致性能下降最大，表明其在模型中具有关键作用。
• 自注意力机制对性能有显著贡献，其移除使CoNLL-03的F1下降0.21，Ontonotes 5的F1下降0.12。
• 跨度编码在CoNLL-03上的影响大于在Ontonotes 5上，可能是因为CoNLL-03中多标记实体的比例更高。
• 该模型实现了与更大规模最先进模型（如使用Flair或Cloze预训练语言模型的模型）相当的性能，且无需复杂架构组件（如HSCRF）的支持。