[论文解读] QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings

Dai Quoc Nguyen, Thanh Vu+2 more|arXiv (Cornell University)|Sep 26, 2020

Advanced Graph Neural Networks被引用 4

一句话总结

QuatRE 提出了一种新颖的知识图谱嵌入模型，通过在头实体和尾实体上应用两个与关系相关的四元数旋转（使用哈密顿积），增强了实体-关系的相关性。该模型在 WN18RR 和 FB15k-237 等标准基准上实现了最先进性能，优于 QuatE 和 RotatE 等先前模型。

ABSTRACT

We propose a simple yet effective embedding model to learn quaternion embeddings for entities and relations in knowledge graphs. Our model aims to enhance correlations between head and tail entities given a relation within the Quaternion space with Hamilton product. The model achieves this goal by further associating each relation with two relation-aware rotations, which are used to rotate quaternion embeddings of the head and tail entities, respectively. Experimental results show that our proposed model produces state-of-the-art performances on well-known benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QuatRE}.

研究动机与目标

• 为解决现有超复数嵌入模型在捕捉知识图谱中头实体与尾实体之间强相关性方面的局限性。
• 降低依赖大型关系特定矩阵的基于翻译的模型的计算复杂度。
• 通过为头实体和尾实体引入与关系相关的旋转，增强四元数嵌入的表征能力。
• 在四元数空间中建立知识图谱补全的新强基线，实现对多样化关系类型的更好泛化能力。

提出的方法

• QuatRE 将实体和关系建模为哈密顿空间中的归一化四元数，每个嵌入使用四个实值分量。
• 通过哈密顿积，分别使用两个与关系相关的旋转向量 $\boldsymbol{\mathsf{v}}_{r,1}$ 和 $\boldsymbol{\mathsf{v}}_{r,2}$ 对头实体和尾实体嵌入进行旋转。
• 三元组得分通过旋转后的头实体嵌入与旋转后的尾实体嵌入的内积计算，关系嵌入作为缩放因子。
• 模型使用归一化的四元数向量 ($\boldsymbol{v}^{\triangleleft}$) 以确保优化稳定性和泛化能力提升。
• 利用四元数乘法的非交换性，更有效地建模非对称关系。
• 通过为每个关系替换为两个紧凑的旋转向量，避免了参数密集的翻译矩阵，从而降低模型复杂度。

实验结果

研究问题

• RQ1 与关系相关的四元数旋转能否改善知识图谱中头实体与尾实体之间相关性的建模？
• RQ2 为头实体和尾实体引入两个独立的旋转向量，是否能优于对称或单旋转方法？
• RQ3 更简单的基于旋转的机制能否在参数量更低的前提下，超越复杂的基于翻译的模型（如 TransR）？
• RQ4 与现有模型相比，QuatRE 在不同关系类型（1-1、1-M、M-1、M-M）上的表现如何？
• RQ5 旋转机制的各个组成部分对整体性能的贡献程度如何？

主要发现

• 在 WN18RR 基准上，QuatRE 实现了最先进性能，MRR 达到 0.493，Hits@10 为 59.2，优于 QuatE（MRR: 0.488）及其他基线模型。
• 在 FB15k-237 上，QuatRE 的 MRR 为 0.367，Hits@10 为 56.3，优于 QuatE（MRR: 0.348）及其他近期模型。
• 对于关系 'member_of_domain_region'，QuatRE 将 MRR 从 QuatE 的 0.193 提升至 0.364，显示出在复杂、多对多关系上的显著优势。
• 消融研究证实，两个旋转分量 ($\boldsymbol{\mathsf{v}}_{r,1}$ 和 $\boldsymbol{\mathsf{v}}_{r,2}$) 均至关重要，移除任一均导致性能下降。
• 在 WN18RR 上的可视化显示，QuatRE 学习到了更一致且相关性更强的实体聚类，尤其在 'synset_domain_topic_of' 和 'instance_hypernym' 等关系上表现突出。
• QuatRE 在所有关系类别（1-1、1-M、M-1、M-M）中均保持强劲性能，表明其对多样化关系模式具有稳健的泛化能力。