[论文解读] Trust from the past: Bayesian Personalized Ranking based Link Prediction in Knowledge Graphs

Baichuan Zhang, Sutanay Choudhury+5 more|arXiv (Cornell University)|Jan 14, 2016

Advanced Graph Neural Networks参考文献 29被引用 22

一句话总结

该论文提出了一种基于贝叶斯个性化排序（BPR）的链接预测模型，为知识图谱中的谓词学习特定的潜在特征嵌入，在YAGO2数据集上相比最先进方法取得了更优的性能。该方法利用每个谓词的二部子图，并表明图拓扑结构——尤其是密度和平均度——与链接预测准确率具有强烈关联。

ABSTRACT

Link prediction, or predicting the likelihood of a link in a knowledge graph based on its existing state is a key research task. It differs from a traditional link prediction task in that the links in a knowledge graph are categorized into different predicates and the link prediction performance of different predicates in a knowledge graph generally varies widely. In this work, we propose a latent feature embedding based link prediction model which considers the prediction task for each predicate disjointly. To learn the model parameters it utilizes a Bayesian personalized ranking based optimization technique. Experimental results on large-scale knowledge bases such as YAGO2 show that our link prediction approach achieves substantially higher performance than several state-of-art approaches. We also show that for a given predicate the topological properties of the knowledge graph induced by the given predicate edges are key indicators of the link prediction performance of that predicate in the knowledge graph.

研究动机与目标

• 解决知识图谱中不同谓词链接预测性能差异的问题。
• 开发一种个性化、谓词隔离的链接预测模型，利用实体和关系的先验知识。
• 量化谓词特定子图的拓扑属性对链接预测性能的影响。
• 在知识图谱构建过程中为三元组事实提供置信度分数，以提升数据质量。

提出的方法

• 该模型使用贝叶斯个性化排序（BPR）优化框架，学习知识图谱中实体的潜在特征嵌入。
• 针对每个谓词，模型仅在其对应谓词边所诱导的二部子图上进行训练，确保谓词特定的建模。
• BPR目标函数通过优化正样本（存在的）三元组在负样本（不存在的）三元组之上的排序，隐式建模用户偏好。
• 为每个谓词的子图计算图拓扑度量（如密度、平均度、聚类系数），以分析其与模型性能的相关性。
• 使用线性回归模型量化这些拓扑特征与链接预测性能（以HR、ARHR、AUC衡量）之间的关系。
• 在大规模YAGO2知识库上评估该方法，并与Most Popular和矩阵分解基线方法进行比较。

实验结果

研究问题

• RQ1 链接预测性能在知识图谱的不同谓词之间如何变化？哪些因素解释了这种变化？
• RQ2 谓词特定子图的拓扑属性（如密度、平均度、聚类系数）与链接预测性能的相关性有多大？
• RQ3 基于BPR的潜在特征嵌入模型能否在知识图谱链接预测中超越现有最先进方法？
• RQ4 知识图谱子图的结构特性在多大程度上影响了特定谓词链接预测的可靠性？

主要发现

• 所提出的BPR模型在YAGO2知识库上的性能显著优于Most Popular和矩阵分解基线方法。
• 图密度和平均度与链接预测性能呈强正相关，相关系数（rvalue）显示明确的上升趋势。
• 聚类系数与性能呈强负相关，尤其在AUC指标中（rvalue ≈ -0.69），表明稀疏且非传递性更强的图更容易预测。
• 模型性能高度依赖于谓词特定子图的结构特性，表明图拓扑是链接预测成功的关键预测因子。
• 结果证实，链接预测准确率在不同谓词间存在显著差异，且这种差异可通过图拓扑度量系统性地解释。
• 该方法为候选三元组提供了一种合理的方法分配置信度分数，支持从噪声数据中构建可靠的知识图谱。