[论文解读] Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding

Yun Tang, Jing Huang+3 more|arXiv (Cornell University)|Nov 9, 2019

Advanced Graph Neural Networks参考文献 35被引用 9

一句话总结

该论文提出正交变换嵌入（OTE），结合图上下文建模，以提升知识图谱链接预测性能，尤其针对N对1、1对N和N对N等复杂关系。通过将RotatE扩展至高维正交变换，并整合来自入边和出边邻居的有向节点级上下文信息，OTE在FB15k-237和WN18RR数据集上实现最先进性能，优于RotatE，并在WN18RR上创下新的SOTA纪录。

ABSTRACT

Translational distance-based knowledge graph embedding has shown progressive improvements on the link prediction task, from TransE to the latest state-of-the-art RotatE. However, N-1, 1-N and N-N predictions still remain challenging. In this work, we propose a novel translational distance-based approach for knowledge graph link prediction. The proposed method includes two-folds, first we extend the RotatE from 2D complex domain to high dimension space with orthogonal transforms to model relations for better modeling capacity. Second, the graph context is explicitly modeled via two directed context representations. These context representations are used as part of the distance scoring function to measure the plausibility of the triples during training and inference. The proposed approach effectively improves prediction accuracy on the difficult N-1, 1-N and N-N cases for knowledge graph link prediction task. The experimental results show that it achieves better performance on two benchmark data sets compared to the baseline RotatE, especially on data set (FB15k-237) with many high in-degree connection nodes.

研究动机与目标

• 为解决知识图谱中N对1、1对N和N对N等复杂关系预测的长期挑战。
• 将RotatE在二维复数空间的建模能力扩展至更高维的正交变换，以提升表示能力。
• 将源自邻近实体与关系的结构化图上下文信息直接整合至打分函数，以增强链接预测性能。
• 在标准基准数据集上实现最先进性能，尤其在具有高入度节点的FB15k-237上表现优异。

提出的方法

• OTE将关系表示为高维实向量空间中的正交变换，推广了RotatE在二维复数旋转中的建模方式。
• 每种关系均建模为一个可学习的正交矩阵，作用于头实体嵌入以预测尾实体。
• 实体嵌入通过两种有向上下文表示进行增强：一种来自入边邻居，一种来自出边邻居。
• 上下文表示通过类似注意力的聚合方式，基于邻近实体及其关系计算得出，随后用于距离打分函数。
• 最终打分函数结合基于正交变换的距离与上下文感知正则化，以提升合理性估计能力。
• 模型通过负采样和基于边距的排序损失进行端到端训练。

实验结果

研究问题

• RQ1 将RotatE从二维复数空间扩展至高维正交变换，是否能提升对复杂关系的建模能力？
• RQ2 整合来自入边与出边邻居的有向图上下文信息，是否能提升链接预测性能，尤其是在模糊的N对N、1对N和N对1关系上？
• RQ3 所提出的OTE模型在FB15k-237和WN18RR等标准基准上的表现，相较于RotatE及其他最先进方法如何？
• RQ4 OTE的最优子嵌入维度是多少？其对性能与可扩展性有何影响？
• RQ5 正交变换与上下文建模在性能提升中的独立贡献程度如何？

主要发现

• OTE在WN18RR上实现了新的SOTA MRR（0.476），优于此前最先进模型。
• 在FB15k-237上，OTE的MRR达到0.432，显著优于RotatE-L（0.425），且在所有关系类型上均表现出一致改进。
• 对于1对N和N对N关系，OTE在Hit@10上平均提升2.1%；对于N对1关系，提升达3.3%，表明在困难样本上取得显著增益。
• 将子嵌入维度从2提升至20，MRR从0.327提升至0.355，且在FB15k-237上于ds=20左右趋于饱和。
• 若移除正交变换或替换为线性变换，MRR显著下降，证实其在建模关系模式中的关键作用。
• 在OTE和RotatE-L中加入图上下文均能提升性能，证明结构化上下文对链接预测具有重要价值。