[论文解读] SimplE Embedding for Link Prediction in Knowledge Graphs

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|Feb 13, 2018

Tensor decomposition and applications被引用 390

一句话总结

SimplE 引入一种简单、全表达能力强的双线性嵌入，用于知识图谱补全，通过将 CP-like 的头部/尾部分数及其逆项取平均来实现，在保持线性复杂度的同时获得出色的经验表现。

ABSTRACT

Knowledge graphs contain knowledge about the world and provide a structured representation of this knowledge. Current knowledge graphs contain only a small subset of what is true in the world. Link prediction approaches aim at predicting new links for a knowledge graph given the existing links among the entities. Tensor factorization approaches have proved promising for such link prediction problems. Proposed in 1927, Canonical Polyadic (CP) decomposition is among the first tensor factorization approaches. CP generally performs poorly for link prediction as it learns two independent embedding vectors for each entity, whereas they are really tied. We present a simple enhancement of CP (which we call SimplE) to allow the two embeddings of each entity to be learned dependently. The complexity of SimplE grows linearly with the size of embeddings. The embeddings learned through SimplE are interpretable, and certain types of background knowledge can be incorporated into these embeddings through weight tying. We prove SimplE is fully expressive and derive a bound on the size of its embeddings for full expressivity. We show empirically that, despite its simplicity, SimplE outperforms several state-of-the-art tensor factorization techniques. SimplE's code is available on GitHub at https://github.com/Mehran-k/SimplE.

研究动机与目标

• 在不完整的知识图谱中动机链接预测以及对表达性强且可扩展的张量分解模型的需求。
• 提出 SimplE，通过使用关系逆项来绑定嵌入，从而解决 CP 中头部和尾部嵌入的独立性问题并提高表达能力。
• 证明 SimplE 是全表达能力的，并且能够通过参数绑定来纳入背景知识。
• 提供训练方法、理论保证以及与最先进的双线性模型的经验比较。

提出的方法

• 为每个实体定义两个嵌入（h_e 和 t_e），为每个关系定义两个嵌入（v_r 和 v_{r^{-1}}）。
• 将 SimplE 相似度定义为 (h_i, r, t_j) 的 CP 得分与 (h_j, r^{-1}, t_i) 的 CP 得分的平均值。
• 使用随机梯度下降，在正三元组和负三元组上针对正则化的逻辑回归（softplus）损失进行训练。
• 按照 Bordes 等人的做法，通过破坏正三元组的头部或尾部来生成负样本。
• 可选地使用 SimplE-ignr，在测试阶段仅使用直接的 CP-like 分数，不包含 r^{-1} 项。
• 讨论表达能力、通过权重绑定纳入背景知识，以及相对于竞争模型的时间/参数效率。

实验结果

研究问题

• RQ1 带有关系逆项的 CP 启发的双线性模型是否能对所有潜在的真实标签实现完全表达？
• RQ2 在表达能力、背景知识纳入和效率方面，SimplE 与其他张量分解和神经方法相比如何？
• RQ3 哪些损失函数和训练过程能在不过拟合的情况下获得稳健的链接预测性能？
• RQ4 如何通过参数绑定在 SimplE 中对对称性、反对称性和反演等背景知识进行编码？

主要发现

• SimplE 是全表达的；存在一个嵌入大小界限，可以表示任何地面真实值。
• 通过 v_{r^{-1}} 纳入逆关系使头部和尾部嵌入之间存在相关性，解决 CP 的独立性问题。
• 背景知识（对称性、反对称性和反演）可以通过绑定关系参数来编码，从而实现受限推理。
• SimplE 相对于嵌入维度具有线性时间复杂度，SimplE-ignr 在保持竞争性能的同时提供了更低的计算量。
• 经验比较表明，SimplE 在标准基准上优于若干最先进的张量分解基线。