[论文解读] Read, Retrospect, Select: An MRC Framework to Short Text Entity Linking

Yingjie Gu, Xiaoye Qu+4 more|arXiv (Cornell University)|Jan 7, 2021

Topic Modeling参考文献 26被引用 8

一句话总结

该论文提出 M3，一种用于短文本实体链接的多轮多选机器阅读理解框架，将消歧问题建模为查询生成与候选选择任务。通过利用上下文感知查询、与候选实体的标记级交互以及多轮历史感知机制，M3 实现了最先进性能，在 Wechat 数据集上 F1 提升 5.62 分，在 Webscope 数据集上 F1 提升 5.03 分，优于先前方法。

ABSTRACT

Entity linking (EL) for the rapidly growing short text (e.g. search queries and news titles) is critical to industrial applications. Most existing approaches relying on adequate context for long text EL are not effective for the concise and sparse short text. In this paper, we propose a novel framework called Multi-turn Multiple-choice Machine reading comprehension (M3}) to solve the short text EL from a new perspective: a query is generated for each ambiguous mention exploiting its surrounding context, and an option selection module is employed to identify the golden entity from candidates using the query. In this way, M3 framework sufficiently interacts limited context with candidate entities during the encoding process, as well as implicitly considers the dissimilarities inside the candidate bunch in the selection stage. In addition, we design a two-stage verifier incorporated into M3 to address the commonly existed unlinkable problem in short text. To further consider the topical coherence and interdependence among referred entities, M3 leverages a multi-turn fashion to deal with mentions in a sequence manner by retrospecting historical cues. Evaluation shows that our M3 framework achieves the state-of-the-art performance on five Chinese and English datasets for the real-world short text EL.

研究动机与目标

• 解决搜索查询和新闻标题等短文本中上下文信息不足的实体链接挑战。
• 通过实现提及上下文与候选实体之间的细粒度交互，提升消歧准确性。
• 通过两阶段验证机制处理无法链接的提及（NIL 实体）。
• 通过多轮回溯机制建模多个提及之间的主题依赖关系，提升全局一致性。
• 在真实世界短文本实体链接基准上超越现有方法。

提出的方法

• 将短文本实体链接建模为多轮多选机器阅读理解任务，从提及的上下文中生成查询。
• 采用选项选择模块，对查询与候选实体进行逐标记交互，以捕捉词汇、句法与语义相似性。
• 引入两阶段 NIL 验证器，检测并预测无法链接的提及，采用粗到细的阅读策略以增强鲁棒性。
• 使用可控门机制，选择性地将历史实体线索整合到当前解码步骤，过滤噪声信息。
• 应用多轮编码策略，动态累积消歧决策作为后续提及的上下文。
• 利用预训练语言模型对查询与候选实体进行编码，并在实体链接损失上进行端到端训练。

实验结果

研究问题

• RQ1 与二分类或基于排序的方法相比，多选 MRC 建模是否能提升实体链接准确性？
• RQ2 两阶段 NIL 验证器在短文本中检测与处理无法链接提及方面效果如何？
• RQ3 通过多轮回溯建模提及间的主题连贯性，能在多大程度上提升消歧性能？
• RQ4 历史实体信息的整合如何影响错误纠正与全局一致性？
• RQ5 M3 框架是否能在多样化的短文本领域与多语言场景下实现泛化？

主要发现

• 与先前最先进模型（Cheng et al., 2019）相比，M3 在 Wechat 数据集上 F1 提升 5.62 分。
• 在 Webscope 数据集上，M3 在五次运行中平均 F1 提升 5.03 分，展现出强大的泛化能力。
• 多选范式显著优于二分类方法，能更好地捕捉模糊候选实体之间的细微差异，尤其在词汇相似性场景下。
• 定性分析显示，NIL 验证器将对知识库实体的虚假链接减少了 30%，提升了 NIL 检测准确性。
• 多轮策略在领域内文本上平均提升性能 1.65%，在领域外文本上提升 1.68%，在含 5 个与 2 个提及的文本中分别达到峰值提升 2.1% 与 2.6%。
• 消融实验表明，可控门机制与完整历史流至关重要，移除它们分别导致准确率下降 0.44 分。