[论文解读] On Multi-Relational Link Prediction with Bilinear Models

Yanjie Wang, Rainer Gemulla+1 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Graph Neural Networks被引用 45

一句话总结

本文研究了多关系链接预测中的双线性模型，表明 RESCAL、DISTMULT、HolE 和 ComplEx 等模型均为受约束双线性模型的特例。本文建立了这些模型之间的包含关系，证明了在特定条件下其通用性，并表明在标准基准测试中，这些模型的关系级集成可实现最先进性能。

ABSTRACT

We study bilinear embedding models for the task of multi-relational link prediction and knowledge graph completion. Bilinear models belong to the most basic models for this task, they are comparably efficient to train and use, and they can provide good prediction performance. The main goal of this paper is to explore the expressiveness of and the connections between various bilinear models proposed in the literature. In particular, a substantial number of models can be represented as bilinear models with certain additional constraints enforced on the embeddings. We explore whether or not these constraints lead to universal models, which can in principle represent every set of relations, and whether or not there are subsumption relationships between various models. We report results of an independent experimental study that evaluates recent bilinear models in a common experimental setup. Finally, we provide evidence that relation-level ensembles of multiple bilinear models can achieve state-of-the art prediction performance.

研究动机与目标

• 分析多关系链接预测中主要双线性模型的表达能力与结构关系。
• 确定在何种条件下这些模型具有通用性，即能够表示任意实体排名集合。
• 在多个数据集上，通过标准化实验设置评估这些模型的相对性能。
• 研究在关系级别对多个双线性模型进行集成是否能够超越单个模型的预测性能。

提出的方法

• 将所有主要双线性模型（RESCAL、DISTMULT、HolE、ComplEx、TransE）形式化为具有特定参数约束的一般双线性模型的实例。
• 通过推导模型能够表示任意可能的打分张量或排名矩阵的条件，定义并分析每类模型的通用性。
• 通过显式变换建立包含关系，将一种模型的参数映射到另一种模型，有时需增加嵌入维度。
• 在标准知识图谱补全基准（如 FB15k、YAGO3-10）上独立开展实验评估，采用统一的训练与评估协议。
• 提出并评估一种关系级别集成方法，即对每个关系组合多个双线性模型的预测结果。
• 使用排名指标（如 MR、MRR、HITS@10）比较单个模型与集成方法相对于最先进方法的性能。

实验结果

研究问题

• RQ1 哪些双线性模型具有通用性，其嵌入大小与参数约束的条件是什么？
• RQ2 不同双线性模型之间的包含关系是什么，是否某一模型类可以表示另一模型类的所有实例？
• RQ3 在标准知识图谱中，单个双线性模型在不同关系上的性能如何变化？
• RQ4 在关系级别对多个双线性模型进行集成，是否能够在知识图谱补全任务中实现最先进性能？

主要发现

• 所有主要双线性模型（RESCAL、DISTMULT、HolE、ComplEx）均可表示为一般双线性模型的受约束实例，其约束包括对角参数或复数参数。
• RESCAL 在任意嵌入维度 r ≥ N 时具有通用性，而其他模型需更大的 r 才能达到通用性，且为每类模型推导出上界。
• 存在包含关系：例如，ComplEx 可通过复数嵌入模拟 DISTMULT，而 HolE 可视为双线性形式的循环相关变体。
• 单个模型的性能高度依赖于关系类型，无单一模型在所有关系上始终表现最优。
• 所提出的多双线性模型关系级集成方法在 FB15k 和 YAGO3-10 上实现了最先进性能，优于单个模型及非双线性最先进方法。
• 该集成方法显著提升了 MRR 和 HITS@10 的得分，表明在不同关系类型和数据集上均实现了稳定提升。