[论文解读] Zero-shot Entity Linking with Dense Entity Retrieval.

Ledell Wu, Fabio Petroni+3 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 24被引用 77

一句话总结

本文提出一种基于微调 BERT 模型的两阶段零样本实体链接方法：首先在密集向量空间中使用双编码器检索候选实体，然后通过交叉编码器进行重排序。该方法在零样本基准测试中实现了近 6 个百分点的绝对 F1 提升，并在 TACKBP-2010 上创下新的 SOTA 成绩。

ABSTRACT

We consider the zero-shot entity-linking challenge where each entity is defined by a short textual description, and the model must read these descriptions together with the mention context to make the final linking decisions. In this setting, retrieving entity candidates can be particularly challenging, since many of the common linking cues such as entity alias tables and link popularity are not available. In this paper, we introduce a simple and effective two-stage approach for zero-shot linking, based on fine-tuned BERT architectures. In the first stage, we do retrieval in a dense space defined by a bi-encoder that independently embeds the mention context and the entity descriptions. Each candidate is then examined more carefully with a cross-encoder, that concatenates the mention and entity text. Our approach achieves a nearly 6 point absolute gain on a recently introduced zero-shot entity linking benchmark, driven largely by improvements over previous IR-based candidate retrieval. We also show that it performs well in the non-zero-shot setting, obtaining the state-of-the-art result on TACKBP-2010. The code and pre-trained models are available at this https URL.

研究动机与目标

• 解决传统信号（如别名和流行度）不可用时的零样本实体链接挑战。
• 通过利用提及和实体描述的密集向量表示，提升零样本设置下的候选实体检索性能。
• 开发一种在零样本场景之外也具有良好泛化能力的方法，同时在非零样本设置下表现优异。
• 仅使用文本描述和上下文信息，在标准实体链接基准上实现最先进性能。

提出的方法

• 微调双编码器架构，将提及上下文和实体描述嵌入到共享的密集向量空间中。
• 基于提及上下文嵌入与实体描述嵌入之间的余弦相似度检索候选实体。
• 通过拼接提及和实体文本，应用交叉编码器对候选实体进行重排序，以实现更精确的相关性评分。
• 两阶段流程结合了高效的检索与高精度的重排序，从而提升链接准确性。
• 使用对比学习目标在实体链接数据上微调模型，以对齐相关提及-实体对。

实验结果

研究问题

• RQ1 在缺乏别名和流行度信号的情况下，使用微调 BERT 的密集检索是否能提升零样本实体链接性能？
• RQ2 在零样本设置下，该两阶段检索-重排序方法与以往基于信息检索的方法相比表现如何？
• RQ3 所提出方法在非零样本实体链接基准上的泛化能力如何？
• RQ4 每个阶段（双编码器检索与交叉编码器重排序）对整体性能的贡献分别是什么？

主要发现

• 在最近推出的零样本实体链接基准上，该方法相比之前的方法实现了近 6 个百分点的绝对 F1 提升。
• 性能提升主要源于候选实体检索的增强，证明了在零样本设置下密集表示学习的有效性。
• 在非零样本设置下，该模型在 TACKBP-2010 基准上达到了最先进性能。
• 两阶段方法——双编码器用于检索，交叉编码器用于重排序——在不同链接场景下均表现出有效性与可扩展性。