[论文解读] Rot-Pro: Modeling Transitivity by Projection in Knowledge Graph Embedding

Tengwei Song, Jie Luo+1 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Graph Neural NetworksComputer Science参考文献 27被引用 21

一句话总结

Rot-Pro 提出了一种知识图谱嵌入模型，通过结合关系旋转与投影，显式地建模传递性，这一关系模式在现有模型中此前未被充分探索。通过理论证明传递性可通过幂等投影捕捉，并将其与 RotatE 的旋转机制相结合，Rot-Pro 在 Countries 等传递性数据集上的链接预测任务中实现了最先进性能，优于 YAGO3-10 和 FB15k-237 中的先前模型。

ABSTRACT

Knowledge graph embedding models learn the representations of entities and relations in the knowledge graphs for predicting missing links (relations) between entities. Their effectiveness are deeply affected by the ability of modeling and inferring different relation patterns such as symmetry, asymmetry, inversion, composition and transitivity. Although existing models are already able to model many of these relations patterns, transitivity, a very common relation pattern, is still not been fully supported. In this paper, we first theoretically show that the transitive relations can be modeled with projections. We then propose the Rot-Pro model which combines the projection and relational rotation together. We prove that Rot-Pro can infer all the above relation patterns. Experimental results show that the proposed Rot-Pro model effectively learns the transitivity pattern and achieves the state-of-the-art results on the link prediction task in the datasets containing transitive relations.

研究动机与目标

• 为解决现有知识图谱嵌入模型在建模传递性方面存在的缺陷，而传递性是常见但未被充分代表的关系模式。
• 从理论上证明可使用幂等变换（特别是投影）来建模传递关系。
• 设计一个统一模型 Rot-Pro，能够同时推断多种关系模式，包括传递性。
• 通过实证验证 Rot-Pro 有效学习传递性，并在包含传递关系的链接预测基准上实现最先进性能。
• 研究在相位约束下，建模传递性与保持其他关系模式（如对称性）之间的权衡。

提出的方法

• Rot-Pro 将复平面上的关系旋转与投影矩阵结合，以建模传递性，其中投影矩阵被约束为幂等矩阵，且类似于对角线上元素为 0 和 1 的对角矩阵。
• 该模型基于经关系特定矩阵投影后的旋转头实体表示设计得分函数，结合旋转动力学与基于投影的幂等性。
• 为确保传递性被正确建模，训练期间将关系旋转相位限制在 (−π/2, π/2) 范围内，以避免在 π 处陷入局部最优，从而避免对传递链的错误表示。
• 理论上证明该模型的表达能力可支持对称性、非对称性、逆关系、复合关系及传递性，通过旋转与投影的结合实现。
• 嵌入空间初始化范围为 (−π, π)，但使用受限相位范围训练可提升收敛性与传递链表示的正确性。
• 模型采用负采样和基于边距的损失函数进行训练，并通过消融研究评估相位约束对不同关系模式的影响。

实验结果

研究问题

• RQ1 能否通过基于投影的幂等变换有效建模知识图谱中的传递关系？
• RQ2 如何将投影与关系旋转结合，以同时建模包括传递性在内的多种关系模式？
• RQ3 将关系旋转相位限制在 (−π/2, π/2) 范围内，对模型学习传递链及避免局部最优的能力有何影响？
• RQ4 Rot-Pro 在涉及传递关系的链接预测任务中，相较于现有模型的性能提升程度如何？
• RQ5 在应用相位约束时，建模传递性与保持对称性等其他关系模式之间存在何种权衡？

主要发现

• Rot-Pro 在包含传递关系的 Countries 数据集上实现了最先进性能，显著优于现有模型在链接预测任务中的表现。
• 模型成功学习传递链，表现为当相位被限制在 (−π/2, π/2) 时，实体嵌入在旋转空间中沿一条直线正确对齐。
• 若无相位约束，模型常收敛至 π 处的局部最优，导致对传递三元组（如 (e1,r,e3) 和 (e2,r,e4)）的表示错误。
• 将关系旋转相位限制在 (−π/2, π/2) 显著提升了模型正确表示传递关系的能力，可视化与损失曲线分析均证实了这一点。
• 应用相位约束后，模型在对称关系上的性能下降，表明建模传递性与保持对称性之间存在权衡。
• 消融研究证实，尽管相位约束增强了传递性建模能力，但对对称关系的学习产生负面影响，提示未来工作需引入自适应或注意力机制。