[论文解读] Probabilistic Belief Embedding for Knowledge Base Completion

Miao Fan, Qiang Zhou+3 more|arXiv (Cornell University)|May 10, 2015

Topic Modeling参考文献 22被引用 7

一句话总结

本文提出概率信念嵌入（PBE），一种统一模型，通过联合学习实体、关系以及关系提及中的词汇的分布式表示，以估计知识库三元组的合理性。通过将结构化知识与非结构化文本通过概率评分相结合，PBE在WordNet、Freebase和NELL数据集上的实体推理、关系预测和三元组分类任务中显著提升性能，相较于最先进方法，Hit@1指标最高提升达327.6%。

ABSTRACT

This paper contributes a novel embedding model which measures the probability of each belief $\langle h,r,t,m angle$ in a large-scale knowledge repository via simultaneously learning distributed representations for entities ($h$ and $t$), relations ($r$), and the words in relation mentions ($m$). It facilitates knowledge completion by means of simple vector operations to discover new beliefs. Given an imperfect belief, we can not only infer the missing entities, predict the unknown relations, but also tell the plausibility of the belief, just leveraging the learnt embeddings of remaining evidences. To demonstrate the scalability and the effectiveness of our model, we conduct experiments on several large-scale repositories which contain millions of beliefs from WordNet, Freebase and NELL, and compare it with other cutting-edge approaches via competing the performances assessed by the tasks of entity inference, relation prediction and triplet classification with respective metrics. Extensive experimental results show that the proposed model outperforms the state-of-the-arts with significant improvements.

研究动机与目标

• 为解决不完整且含噪声的知识库问题，通过异构数据源上的概率推理实现改进。
• 在单一嵌入框架中统一结构化知识（三元组）与非结构化文本（关系提及），以提升知识补全效果。
• 在一个统一的概率模型中支持多种知识补全任务——实体推理、关系预测和三元组分类。
• 克服先前模型忽略文本上下文或无法扩展至大规模存储库的局限性。
• 在真实世界的大规模知识库（如WordNet、Freebase和NELL）上展示可扩展性与有效性。

提出的方法

• PBE使用基于概率评分函数的联合学习方法，为头实体、尾实体、关系以及关系提及中的词汇学习低维分布式表示。
• 模型采用基于条件概率的评分函数：Pr(h|r,t)Pr(r|h,t)Pr(t|h,r)，用于估计信念三元组⟨h,r,t,m⟩的合理性。
• 通过负采样高效优化模型，将学习问题转化为随机梯度下降框架。
• 将关系提及（m）中的文本证据整合到嵌入空间，支持超越原始关系的上下文推理。
• 统一框架支持端到端训练实体、关系和词汇嵌入，促进向量运算以实现推理。
• 该框架支持多种任务：实体推理（缺失头/尾实体）、关系预测（缺失关系）和三元组分类（合理性检查）。

实验结果

研究问题

• RQ1 统一的嵌入模型能否有效整合结构化知识与非结构化文本，以提升知识库补全性能？
• RQ2 联合学习实体、关系与词汇嵌入在多大程度上能提升知识库三元组的合理性估计？
• RQ3 与忽略文本上下文的模型相比，引入关系提及（m）在多大程度上提升了实体推理与关系预测的性能？
• RQ4 所提出的模型能否在Freebase和NELL等大规模知识库上实现有效扩展？
• RQ5 该模型能否在多个知识补全任务——实体推理、关系预测和三元组分类——中同时实现最先进性能？

主要发现

• 在NELL-50K数据集上，PBE在关系预测任务中相较先前最先进方法，Hit@1指标实现了327.6%的相对提升。
• 在WN-100K数据集上，PBE在关系预测任务中使Hit@1提升276.2%，平均排名（Mean Rank）提升41.1%。
• 在三元组分类任务中，PBE在NELL-50K上较TransE、TransH和TransM提升7.9%准确率，在WN-100K上提升5.6%，在FB-500K上也提升5.6%。
• 在实体推理任务中，PBE在FB-500K数据集上使平均排名过滤（Mean Rank Filter）提升10.4%。
• 该模型在所有三个数据集——NELL-50K、WN-100K和FB-500K——上均展现出强大的可扩展性与一致的优越性能，覆盖所有评估任务。
• 将关系提及中的词级嵌入整合显著提升了性能，尤其在关系预测任务中，多个指标的增益超过100%。