[论文解读] R-GCN: The R Could Stand for Random

Vic Degraeve, Gilles Vandewiele+2 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 RR-GCN，一种关系图卷积网络（R-GCN）的变体，用随机初始化且固定的矩阵替代了学习得到的关系特定变换，表明通过随机权重进行消息传递可在节点分类和链接预测任务中实现与完全训练的 R-GCN 相当或更优的性能。关键洞见在于，知识图谱（KGs）的结构归纳偏差以及消息传递机制本身比学习参数更为关键。

ABSTRACT

The inception of the Relational Graph Convolutional Network (R-GCN) marked a milestone in the Semantic Web domain as a widely cited method that generalises end-to-end hierarchical representation learning to Knowledge Graphs (KGs). R-GCNs generate representations for nodes of interest by repeatedly aggregating parameterised, relation-specific transformations of their neighbours. However, in this paper, we argue that the the R-GCN's main contribution lies in this "message passing" paradigm, rather than the learned weights. To this end, we introduce the "Random Relational Graph Convolutional Network" (RR-GCN), which leaves all parameters untrained and thus constructs node embeddings by aggregating randomly transformed random representations from neighbours, i.e., with no learned parameters. We empirically show that RR-GCNs can compete with fully trained R-GCNs in both node classification and link prediction settings.

研究动机与目标

• 探究 R-GCN 中学习参数是否对知识图谱嵌入的有效性至关重要。
• 评估完全随机的消息传递机制在知识图谱上的性能，且独立于训练过程。
• 为未来知识图谱嵌入方法建立一个强大而高效的基线。
• 探索仅依赖知识图谱的结构归纳偏差是否足以生成高质量表示。
• 通过消除反向传播和权重训练，实现更快的实验速度。

提出的方法

• RR-GCN 将 R-GCN 中所有关系特定的变换矩阵替换为随机初始化且固定的矩阵，并在推理过程中保持冻结。
• 节点表示通过消息传递进行更新：每个节点使用随机变换矩阵从邻居聚合消息，随后进行平均并应用 ReLU 激活。
• 消息传递过程在多层中应用，且不涉及反向传播或参数更新。
• 嵌入通过单次前向传播生成，使 RR-GCN 显著快于端到端训练的 R-GCN。
• 该方法使用与 R-GCN 相同的聚合和更新机制，但省去了所有学习参数。
• 该方法在九个节点分类数据集和一个链接预测基准上进行评估，并与完全训练的 R-GCN 进行对比。

实验结果

研究问题

• RQ1 在消息传递中使用随机且未经训练的关系特定变换，能否在知识图谱嵌入中实现具有竞争力的性能？
• RQ2 R-GCN 的性能是否主要源于其消息传递机制，而非其学习参数？
• RQ3 仅靠知识图谱的结构归纳偏差是否足以提供有效节点表示的充分信号？
• RQ4 RR-GCN 是否可作为未来知识图谱嵌入方法的强大、快速且轻量级基线？
• RQ5 在哪些情况下训练过的 R-GCN 优于 RR-GCN，这又对模型学习行为有何启示？

主要发现

• 在去除低重要性关系类型的 AM 数据集上，RR-GCN 的节点分类准确率达到 91.31% ± 0.24%，优于训练过的 R-GCN。
• 在链接预测任务中，RR-GCN 在所有指标上的表现与完全训练的 R-GCN 统计上无显著差异。
• RR-GCN 训练时间不足两小时，而训练过的 R-GCN 需要数天才收敛，显示出显著的速度提升。
• 该模型保留了语义结构：如大陆和邻国等实体在嵌入空间中形成连贯的聚类。
• 在某些情况下，RR-GCN 表现优于训练过的 R-GCN，表明后者通常会学习抑制或忽略图结构的某些部分。
• 结果表明，对于知识图谱中的表示学习，消息传递机制和图拓扑比学习参数更为关键。