[论文解读] ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective

Yihong Chen, Pushkar Mishra+4 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出 ReFactor GNNs，一种新颖的 GNN 架构，通过将基于因子分解的模型（FMs）如 DistMult 重新表述为消息传递 GNN，将梯度下降更新解释为消息传递操作。通过这种方式，它在知识图谱补全基准上实现了最先进（SOTA）的归纳性能，参数量比 FMs 少一个数量级，同时保持了与 FMs 相当的归纳性能。

ABSTRACT

Factorisation-based Models (FMs), such as DistMult, have enjoyed enduring success for Knowledge Graph Completion (KGC) tasks, often outperforming Graph Neural Networks (GNNs). However, unlike GNNs, FMs struggle to incorporate node features and generalise to unseen nodes in inductive settings. Our work bridges the gap between FMs and GNNs by proposing ReFactor GNNs. This new architecture draws upon both modelling paradigms, which previously were largely thought of as disjoint. Concretely, using a message-passing formalism, we show how FMs can be cast as GNNs by reformulating the gradient descent procedure as message-passing operations, which forms the basis of our ReFactor GNNs. Across a multitude of well-established KGC benchmarks, our ReFactor GNNs achieve comparable transductive performance to FMs, and state-of-the-art inductive performance while using an order of magnitude fewer parameters.

研究动机与目标

• 弥合传统上被视为分离范式的基于因子分解模型（FMs）与图神经网络（GNNs）之间的差距。
• 解释为何尽管存在归纳限制，FMs 在归纳知识图谱补全中仍优于标准 GNNs。
• 开发一种新型 GNN 架构，继承 GNN 的归纳偏置与 FMs 的预测能力。
• 通过将训练动态重构为有限层消息传递，使 FMs 能够泛化到未见节点。
• 提供一个统一的理论框架，通过梯度下降的重新解释，将 FMs、GNNs 与消息传递联系起来。

提出的方法

• 将 FMs 节点嵌入的梯度下降优化重新表述为节点之间的消息传递操作序列。
• 将 FMs 视为具有无限感受野、逐层训练和全局归一化器的 GNN 的特例。
• 提出 ReFactor GNNs 作为 FMs 的有限层数、归纳性变体，整合节点特征并支持动态图重连。
• 在动态重连的图上使用增强的消息传递机制，以模拟 FMs 训练的全局、迭代特性。
• 使用标准 GNN 训练流程训练模型，其中消息传递层模拟 FMs 的更新规则。
• 采用子图采样（如 LADIES）以实现高效训练，尽管该方法对采样策略具有无关性。

实验结果

研究问题

• RQ1 能否将基于因子分解的模型（如 DistMult）正式重新解释为一种消息传递 GNN？
• RQ2 为何尽管缺乏归纳偏置，FMs 在归纳知识图谱补全中仍优于标准 GNNs？
• RQ3 能否设计一种结合 GNN 的归纳泛化能力与 FMs 的预测精度的 GNN 架构？
• RQ4 FMs 中的梯度下降与 GNN 中的消息传递之间存在何种理论联系？
• RQ5 对 FMs 的消息传递重构能否实现归纳学习与特征整合？

主要发现

• ReFactor GNNs 在 15 个广泛使用的 KGC 基准上实现了最先进（SOTA）的归纳性能，优于归纳设置下的标准 GNNs 与 FMs。
• 在归纳基准上，ReFactor GNNs 与 DistMult 等 FMs 的性能相当，展现出强大的预测精度。
• 尽管性能与 FMs 相当，ReFactor GNNs 的参数量比 FMs 少一个数量级，显著提升了参数效率。
• 重构表明，FMs 可被视为具有无限层数和全局归一化的 GNN 特例，从而解释了其优异性能。
• 该模型成功整合了节点特征，克服了传统 FMs 无法泛化到未见节点的关键局限。
• 实证结果证实，即使在 FMs 不适用的情况下，ReFactor GNNs 在归纳链接预测中的泛化能力也优于标准 GNNs。