[论文解读] Quaternion Knowledge Graph Embeddings

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Apr 23, 2019

Advanced Graph Neural Networks参考文献 33被引用 206

一句话总结

QuatE 引入知识图谱中实体和关系的四元数值嵌入，使在高超复空间中的关系旋转能够捕捉对称性、反对称性和反演性，在四个基准数据集上达到最先进的结果。

ABSTRACT

In this work, we move beyond the traditional complex-valued representations, introducing more expressive hypercomplex representations to model entities and relations for knowledge graph embeddings. More specifically, quaternion embeddings, hypercomplex-valued embeddings with three imaginary components, are utilized to represent entities. Relations are modelled as rotations in the quaternion space. The advantages of the proposed approach are: (1) Latent inter-dependencies (between all components) are aptly captured with Hamilton product, encouraging a more compact interaction between entities and relations; (2) Quaternions enable expressive rotation in four-dimensional space and have more degree of freedom than rotation in complex plane; (3) The proposed framework is a generalization of ComplEx on hypercomplex space while offering better geometrical interpretations, concurrently satisfying the key desiderata of relational representation learning (i.e., modeling symmetry, anti-symmetry and inversion). Experimental results demonstrate that our method achieves state-of-the-art performance on four well-established knowledge graph completion benchmarks.

研究动机与目标

• 在比复数表示更丰富的超复数空间中建模实体和关系的动机。
• 提出一种基于四元数的评分函数，通过关系四元数旋转头实体并评估尾实体的匹配度。
• 证明四元数旋转在捕捉对称性、反对称性和反演性方面比先前模型更有效。
• 展示 QuatE 在多個 KG 完成基准上达到最先进结果，同时具有具有竞争力的参数效率。

提出的方法

• 用 Q 表示实体的四元数嵌入，属于 H^{N x k}。
• 用单位四元数嵌入 W_r 表示关系，属于 H^{M x k}，进行归一化以消除尺度效应。
• 通过哈密顿积使用单位关系四元数对头实体进行旋转：Q_h' = Q_h ⊗ W_r^{triangleleft}。
• 使用四元数内积对三元组进行打分：φ(h,r,t) = Q_h' · Q_t。
• 用观测三元组和负样本三元组的正则化逻辑损失进行训练，优化时使用 Adagrad。
• 讨论专为四元数网络设计的初始化，以及可选的归一化/正则化变体。

实验结果

研究问题

• RQ1 带有 Hamilton 乘积旋转的四元数值嵌入能否在标准基准上超越复数值 KG 嵌入？
• RQ2 单位四元数归一化和旋转四元数公式是否提升了对关系中的对称性、反对称性与反演性的建模？
• RQ3 QuatE 在参数效率和跨数据集的预测精度方面与最先进模型相比如何？
• RQ4 QuatE 的组合是否足够灵活，能够在没有固定组合运算符的情况下捕捉多种关系模式？

主要发现

• QuatE 在四个 KG 基准数据集（WN18、FB15K、WN18RR、FB15K-237）上达到最先进的性能。
• 四元数旋转比复数值旋转提供更丰富的交互，有助于对称性、反对称性和反演性的建模。
• 关系四元数的归一化至关重要；去除归一化会降低性能。
• QuatE 的参数量少于若干基线，同时取得强结果，且带有 N3 与互惠学习的变体在部分数据集上进一步提升性能。
• 该框架对 ComplEx 具有推广性，在某些简化下可退化到 DistMult，提供超越 Hermitian 乘积的几何解释。