[论文解读] NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs

Mikhail Galkin, Étienne Denis+2 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Graph Neural Networks被引用 23

一句话总结

NodePiece 提出了一种参数高效、基于锚点的模型，用于在大规模知识图谱中学习组合式节点嵌入。该方法通过将实体表示为类似子词单元的序列（锚点和关系），实现参数显著减少的归纳表示学习。其在链接预测、节点分类和关系预测任务上表现优异，仅使用不到10%的节点作为锚点，且相比标准模型参数量减少高达70倍。

ABSTRACT

Conventional representation learning algorithms for knowledge graphs (KG) map each entity to a unique embedding vector. Such a shallow lookup results in a linear growth of memory consumption for storing the embedding matrix and incurs high computational costs when working with real-world KGs. Drawing parallels with subword tokenization commonly used in NLP, we explore the landscape of more parameter-efficient node embedding strategies with possibly sublinear memory requirements. To this end, we propose NodePiece, an anchor-based approach to learn a fixed-size entity vocabulary. In NodePiece, a vocabulary of subword/sub-entity units is constructed from anchor nodes in a graph with known relation types. Given such a fixed-size vocabulary, it is possible to bootstrap an encoding and embedding for any entity, including those unseen during training. Experiments show that NodePiece performs competitively in node classification, link prediction, and relation prediction tasks while retaining less than 10% of explicit nodes in a graph as anchors and often having 10x fewer parameters. To this end, we show that a NodePiece-enabled model outperforms existing shallow models on a large OGB WikiKG 2 graph having 70x fewer parameters.

研究动机与目标

• 解决传统知识图嵌入模型因实体数量线性增长而导致的高内存与计算开销问题。
• 在推理阶段实现对未见实体的归纳表示学习，克服标准查找式嵌入方法的局限性。
• 从自然语言处理中的子词分词机制获得启发，为大规模知识图谱构建固定大小、参数高效的词表。
• 通过用固定大小的原子单元（锚点和关系）的组合替代特定实体的嵌入，降低参数预算。
• 在如 Wikidata 和 OGB WikiKG2 等大规模真实世界知识图谱上，实现可扩展且泛化能力强的表示学习。

提出的方法

• NodePiece 构建一个固定大小的锚点节点和关系类型词表，其中每个实体被编码为其最近的 k 个锚点和 m 个邻近关系的序列。
• 它使用哈希机制将每个节点映射为唯一的锚点与关系标记序列，通过可学习的编码函数实现组合式表示。
• 编码函数（如MLP或Transformer）将标记序列映射为 d 维嵌入，整体参数预算由词表大小和编码器复杂度决定。
• 该方法通过使用相同的固定词表和编码器支持归纳学习，使新出现的、未见过的实体无需微调即可嵌入。
• 利用关系上下文和锚点距离提升哈希唯一性与表示多样性，降低冲突风险。
• 该方法兼容任何下游模型（如 RotatE 或 CompGCN），可与标准链接预测和节点分类目标端到端训练。

实验结果

研究问题

• RQ1 固定大小的基于锚点的子单元实体词表是否能实现在大规模知识图谱中的参数高效且泛化能力强的表示学习？
• RQ2 基于锚点和关系的组合式节点表示在参数效率和性能方面，相较于标准查找式嵌入，能提升多少？
• RQ3 NodePiece 在大规模知识图谱中对未见实体的归纳推理泛化能力如何，尤其在密集、关系丰富的图上？
• RQ4 引入关系上下文和锚点距离对节点表示的唯一性和质量有何影响？
• RQ5 NodePiece 是否能在显著减少模型参数量（数量级降低）的同时，实现链接预测、节点分类和关系预测任务上的竞争力表现？

主要发现

• 即使仅使用1,000个锚点和500种关系类型，NodePiece在节点分类、链接预测和关系预测任务上仍表现出竞争力。
• 在 OGB WikiKG2 数据集上，使用10,000个锚点和74种关系的NodePiece在链接预测任务上达到Hits@10为0.997，优于使用7800万参数嵌入矩阵的标准模型。
• 与标准模型（如 PyTorch-BigGraph）相比，该方法将参数量减少高达70倍，后者使用7800万 × 200的嵌入矩阵。
• 使用1,000个锚点的词表和简单MLP编码器的NodePiece在FB15k-237上达到Hits@10为0.971，与使用15,000个实体嵌入的模型性能相当。
• 模型在归纳设置中泛化良好：即使不使用锚点节点，词表大小也与图大小无关，且在密集、关系丰富的图上性能依然强劲。
• 消融实验表明，若移除关系上下文或锚点距离，性能会下降，证实二者对提升表示唯一性和质量具有关键作用。