[论文解读] Probabilistic Knowledge Graph Construction: Compositional and Incremental Approaches

Dongwoo Kim, Lexing Xie+1 more|arXiv (Cornell University)|Aug 21, 2016

Advanced Graph Neural Networks参考文献 22被引用 6

一句话总结

该论文提出了一种概率知识图谱因子分解方法，通过组合式、路径感知的模型统一了增量知识填充与知识补全任务。通过将双线性张量因子分解概率化，并结合Thompson采样进行主动学习，该方法在探索与利用之间取得平衡，在三个基准数据集上的知识补全任务中，利用路径结构实现了更高的累积收益与更优的预测性能。

ABSTRACT

Knowledge graph construction consists of two tasks: extracting information from external resources (knowledge population) and inferring missing information through a statistical analysis on the extracted information (knowledge completion). In many cases, insufficient external resources in the knowledge population hinder the subsequent statistical inference. The gap between these two processes can be reduced by an incremental population approach. We propose a new probabilistic knowledge graph factorisation method that benefits from the path structure of existing knowledge (e.g. syllogism) and enables a common modelling approach to be used for both incremental population and knowledge completion tasks. More specifically, the probabilistic formulation allows us to develop an incremental population algorithm that trades off exploitation-exploration. Experiments on three benchmark datasets show that the balanced exploitation-exploration helps the incremental population, and the additional path structure helps to predict missing information in knowledge completion.

研究动机与目标

• 解决不完整知识图谱中知识填充与补全之间的差距。
• 开发一种统一的概率框架，支持增量填充与知识补全任务。
• 通过利用潜在结构与不确定性量化实现主动学习，提升知识图谱构建效果。
• 探究路径结构在知识补全与增量填充中作用的对比。

提出的方法

• 在概率框架中形式化双线性张量因子分解，以在潜在空间中建模实体与关系嵌入。
• 引入组合式扩展，将路径结构（如三段论推理）整合到因子分解中，以提升补全性能。
• 采用Thompson采样，在增量填充的主动三元组选择过程中平衡探索与利用。
• 使用基于粒子的推断方法，并引入方差参数以建模预测中的不确定性。
• 采用概率形式化方法，实现对主动学习决策中不确定性的量化。
• 使用观察到的三元组进行增量训练，每次在Oracle标注查询后更新参数。

实验结果

研究问题

• RQ1 统一的概率框架如何同时提升增量知识填充与知识补全性能？
• RQ2 路径结构对知识补全性能与增量填充效率的影响分别是什么？
• RQ3 Thompson采样能否在主动知识填充中有效平衡探索与利用？
• RQ4 概率模型中的不确定性量化如何增强知识图谱构建中的主动学习？
• RQ5 为何组合式模型在填充任务中表现不佳，尽管其在补全任务中表现优异？

主要发现

• 采用Thompson采样与非组合式因子分解的Pnormal-ts模型，在所有三个数据集上均实现了最高的累积收益。
• 组合式模型（PCOMP-MUL-TS）由于路径结构的引入，在知识补全任务中表现更优，显著提升了预测准确率。
• 非组合式概率模型（Pnormal-ts）在累积收益方面优于所有基线模型，证明了其在探索-利用权衡上的有效性。
• 尽管组合式模型在补全任务中表现优异，但在填充任务中表现欠佳，表明结构表达能力与不确定性估计之间存在权衡。
• 结合概率建模的Thompson采样在保持相当ROC-AUC得分的同时，最大化了有效三元组的获取，证明其在主动学习中的有效性。
• 本研究中Amdc-pop与Amdc-pred之间的性能差距，相较于先前工作，凸显了初始数据质量与查询规模在主动学习动态中的关键作用。