[论文解读] QuatDE: Dynamic Quaternion Embedding for Knowledge Graph Completion

Haipeng Gao, Kun Yang+4 more|arXiv (Cornell University)|May 19, 2021

Advanced Graph Neural Networks参考文献 27被引用 8

一句话总结

QuatDE 提出了一种用于知识图谱补全的动态四元数嵌入模型，通过在四元数空间中引入关系特定的自适应映射向量，增强了特征交互。通过利用哈密顿积动态调整实体表示，QuatDE 实现了最先进性能，在 WN18 上将平均倒数排名（MR）提升 26%，在 WN18RR 上提升 15%，优于 QuatE。

ABSTRACT

Knowledge graph embedding has been an active research topic for knowledge base completion (KGC), with progressive improvement from the initial TransE, TransH, RotatE et al to the current state-of-the-art QuatE. However, QuatE ignores the multi-faceted nature of the entity and the complexity of the relation, only using rigorous operation on quaternion space to capture the interaction between entitiy pair and relation, leaving opportunities for better knowledge representation which will finally help KGC. In this paper, we propose a novel model, QuatDE, with a dynamic mapping strategy to explicitly capture the variety of relational patterns and separate different semantic information of the entity, using transition vectors to adjust the point position of the entity embedding vectors in the quaternion space via Hamilton product, enhancing the feature interaction capability between elements of the triplet. Experiment results show QuatDE achieves state-of-the-art performance on three well-established knowledge graph completion benchmarks. In particular, the MR evaluation has relatively increased by 26% on WN18 and 15% on WN18RR, which proves the generalization of QuatDE.

研究动机与目标

• 解决现有基于四元数的模型（如 QuatE）在表示能力有限和特征交互较弱的问题。
• 通过实现动态实体表示，显式建模多样化的关系模式（如一对一、一对多、多对多）。
• 通过四元数空间中的动态映射策略，增强实体与关系之间的语义分离与交互。
• 在标准基准测试中提升泛化能力与性能，尤其在低维设置下表现更优。
• 证明将四元数值神经网络与动态自适应相结合在知识图谱嵌入中的优越性。

提出的方法

• 引入一种使用三个额外四元数向量的动态映射策略：主体转移向量、对象转移向量和关系转移向量。
• 应用哈密顿积，根据特定关系及其角色（头或尾）动态调整四元数空间中的实体嵌入位置。
• 采用融合动态映射的打分函数，比静态四元数嵌入更有效地建模三元组交互。
• 基于负采样和边际排序设计损失函数，以优化动态表示。
• 设计模型以兼容四元数值神经网络（QNN），提升表达能力与泛化性能。
• 在消融研究中固定嵌入维度为 50，即使参数减少，仍表现出色，优于 QuatE。

实验结果

研究问题

• RQ1 在四元数空间中采用动态映射策略是否能提升知识图谱补全中实体与关系的表示能力？
• RQ2 通过自适应嵌入显式建模关系模式（如一对一、一对多等）是否能带来更好的泛化能力与性能？
• RQ3 一个参数更少的模型是否能通过利用动态四元数变换实现最先进结果？
• RQ4 与静态四元数模型（如 QuatE）相比，动态映射策略在链接预测性能上表现如何？
• RQ5 该模型在 WN18、WN18RR 和 FB15K-237 等多样化知识图谱基准上的泛化能力如何？

主要发现

• 与 QuatE 相比，QuatDE 在 WN18 上将平均倒数排名（MR）相对提升 26%，MR 从 9.53 降至 3.69。
• 在 WN18RR 上，QuatDE 相较 QuatE 将 MR 提升 15%，对于 /location/hud_county_place/place 关系，MR 从 11.8 降至 10.6。
• 在 FB15K-237 上，一对一关系的 Hit@10 得分为 0.91，多对多关系为 0.88，所有关系类型均优于 QuatE。
• 仅使用 50 维嵌入时，QuatDE 的 Hit@10 达到 0.959，超过 QuatE 在 300 维下的最优得分 0.959。
• 维度分析表明，QuatDE 在 WN18 上性能在 K=100 左右趋于稳定，在 FB15K-237 上在 K=300 左右趋于稳定，超过此点收益递减。
• 该模型展现出强大的泛化能力，MRR 与 Hit@10 在所有基准和关系类型上均持续优于 QuatE。