[论文解读] Neural Collective Entity Linking Based on Recurrent Random Walk Network Learning

Mengge Xue, Weiming Cai+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling被引用 12

一句话总结

该论文提出RRWEL，一种新颖的端到端神经集体实体链接模型，通过循环随机游走层利用外部知识库来建模实体消歧决策之间的语义依赖关系。通过整合语义正则化并利用基于知识图谱的证据传播，RRWEL在多个基准测试中超越了最先进模型，展示了通过引导式外部知识实现改进的集体消歧效果。

ABSTRACT

Benefiting from the excellent ability of neural networks on learning semantic representations, existing studies for entity linking (EL) have resorted to neural networks to exploit both the local mention-to-entity compatibility and the global interdependence between different EL decisions for target entity disambiguation. However, most neural collective EL methods depend entirely upon neural networks to automatically model the semantic dependencies between different EL decisions, which lack of the guidance from external knowledge. In this paper, we propose a novel end-to-end neural network with recurrent random-walk layers for collective EL, which introduces external knowledge to model the semantic interdependence between different EL decisions. Specifically, we first establish a model based on local context features, and then stack random-walk layers to reinforce the evidence for related EL decisions into high-probability decisions, where the semantic interdependence between candidate entities is mainly induced from an external knowledge base. Finally, a semantic regularizer that preserves the collective EL decisions consistency is incorporated into the conventional objective function, so that the external knowledge base can be fully exploited in collective EL decisions. Experimental results and in-depth analysis on various datasets show that our model achieves better performance than other state-of-the-art models. Our code and data are released at \\url{https://github.com/DeepLearnXMU/RRWEL}.

研究动机与目标

• 解决现有神经集体实体链接模型仅依赖神经网络建模依赖关系而缺乏外部引导的局限性。
• 整合外部知识库（KB）语义，以指导实体链接决策之间全局依赖关系的建模。
• 开发一种可微分的端到端框架，结合局部提及到实体的匹配度与基于知识图谱的全局一致性。
• 通过损失函数中的语义正则化，保持文档内多个提及之间决策的一致性。
• 证明基于知识库的证据传播通过循环随机游走机制在提升实体链接准确率方面的有效性。

提出的方法

• 使用卷积神经网络（CNNs）从提及上下文和候选实体中提取局部语义表示。
• 通过在连接后的局部特征上应用线性层，计算初始的提及到实体匹配度分数。
• 堆叠循环随机游走层，基于知识库中的语义相关性，在候选实体之间传播证据。
• 利用知识库实体之间的嵌入相似性构建转移矩阵T，以指导随机游走的转移过程。
• 在损失函数中引入语义正则化，以强制实现集体链接决策的一致性。
• 使用反向传播端到端训练整个模型，实现局部匹配度与全局一致性的联合优化。

实验结果

研究问题

• RQ1 外部知识库语义能否通过引导决策之间的依赖关系来改善集体实体链接？
• RQ2 基于知识库关系的循环随机游走机制在利用KB衍生关系于候选实体之间传播证据方面有多高效？
• RQ3 引入语义正则化是否能增强决策一致性并提升整体链接性能？
• RQ4 与最先进神经集体EL模型相比，所提出的模型在准确率和鲁棒性方面表现如何？
• RQ5 基于知识库的证据传播在多大程度上优于纯粹基于神经网络的端到端依赖关系建模？

主要发现

• RRWEL在多个大规模公开数据集上达到最先进性能，超越了现有的神经集体实体链接模型。
• 通过循环随机游走整合外部知识显著提升了证据传播效率和决策一致性。
• 消融实验表明，使用基于KB的转移矩阵T比随机或非KB基础的转移方式表现更优。
• 语义正则化有效增强了决策一致性，从而提升了F1和精确率分数。
• 该模型展现出强大的泛化能力，在歧义性提及上表现尤为突出，此时依赖关系至关重要。
• 定性分析表明，由于基于KB的传播机制，'Bay (horse)'和'Equine coat color'等实体获得了更高的证据得分。