[论文解读] TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors

Long Yu, Zhicong Luo+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

本文提出 TripleRE，一种基于翻译的知识图嵌入新方法，通过将关系向量分解为三个子关系以提升建模能力。通过整合 NodePiece 实现高效实体编码，并在 TripleREv2 中引入残差学习，该方法在 ogbl-wikikg2 上实现了最先进性能，且参数量显著减少，在 MRR 和参数效率方面均优于先前方法。

ABSTRACT

Translation-based knowledge graph embedding has been one of the most important branches for knowledge representation learning since TransE came out. Although many translation-based approaches have achieved some progress in recent years, the performance was still unsatisfactory. This paper proposes a novel knowledge graph embedding method named TripleRE with two versions. The first version of TripleRE creatively divide the relationship vector into three parts. The second version takes advantage of the concept of residual and achieves better performance. In addition, attempts on using NodePiece to encode entities achieved promising results in reducing the parametric size, and solved the problems of scalability. Experiments show that our approach achieved state-of-the-art performance on the large-scale knowledge graph dataset, and competitive performance on other datasets.

研究动机与目标

• 为解决现有基于翻译的模型在捕捉知识图中复杂关系语义方面的局限性。
• 通过高效的实体编码，提升大规模知识图嵌入的可扩展性并减少参数量。
• 通过将关系向量分解为三个子关系，增强表示学习，实现更丰富的关系建模。
• 探索残差学习在知识表示中的有效性，以提升性能。
• 将 TripleRE 与 NodePiece 结合，实现可扩展、低参数、高性能的知识图嵌入。

提出的方法

• TripleRE 提出一种新颖的解码机制，将每个关系向量拆分为三个不同的子关系向量，以更好地建模复杂的关联模式。
• 该模型基于假设 h + r1 + r2 + r3 ≈ t 设计评分函数，通过引入三个子关系扩展了标准的基于翻译的方法。
• TripleREv2 集成残差学习机制，其中最终表示计算为 h + r1 + r2 + r3 + residual，从而改善优化与性能。
• 采用 NodePiece 对实体进行编码，利用 K 个最近邻锚点实体，显著减少模型参数量，同时保持性能。
• 该方法结合了 NodePiece 基于锚点的编码结构信息与 TripleRE 中的关系分解机制，以增强效率与表达能力。
• 对超参数进行调优，包括初始学习率与残差缩放系数（u），以优化在 ogbl-wikikg2 和 ogbl-biokg 等大规模基准上的性能。

实验结果

研究问题

• RQ1 将关系向量分解为三个子关系是否能提升基于翻译的知识图嵌入模型的表示能力？
• RQ2 将 NodePiece 与新颖评分函数结合，对大规模知识图的参数效率与性能有何影响？
• RQ3 TripleREv2 中的残差学习机制是否能持续提升标准基于翻译模型的性能？
• RQ4 所提方法是否能在如 ogbl-wikikg2 这类大规模基准上实现最先进结果，同时保持低参数量？
• RQ5 在 TripleRE 背景下，实体编码的最优配置（如仅锚点 vs. 锚点 + 关系信息）为何？

主要发现

• TripleRE+NodePiece 在 ogbl-wikikg2 基准上达到最先进性能，测试 MRR 为 0.6627 ± 0.0018，验证集 MRR 为 0.6745 ± 0.0015。
• 与 ogbl-wikikg2 上第二好的方法相比，该模型将参数数量减少了三倍以上，实现了最小参数量下的最佳性能。
• 在 ogbl-wikikg2 上，'anchor' 编码方法（仅使用 K 个最近邻锚点）在 MRR 和参数效率方面均优于 'anchor + r' 和 'anchor + rm' 配置。
• 采用残差学习的 TripleREv2 实现了测试 MRR 0.6627 和验证集 MRR 0.6745，证明了残差连接在知识表示中的有效性。
• 在 FB15k 和 WN18 等小规模数据集上，TripleRE 的 MRR 表现优于 TransAt，表明其具备强大的泛化能力。
• 消融实验确认，TripleRE 与 NodePiece 的结合极为有效，其中 'anchor' 编码策略在性能与模型大小之间实现了最佳平衡。