[论文解读] R-GSN: The Relation-based Graph Similar Network for Heterogeneous Graph

Xinliang Wu, Mengying Jiang+1 more|arXiv (Cornell University)|Mar 14, 2021

Advanced Graph Neural Networks参考文献 18被引用 6

一句话总结

本文提出 R-GSN，一种基于关系的图相似性网络，用于异质图，无需手动定义元路径。通过引入新颖的基于相似性的聚合机制——SIM-ATTN 和 SIM，结合归一化和自适应特征初始化，R-GSN 在 ogbn-mag 数据集上实现了最先进性能，验证集准确率超越 R-GCN 4.21%，测试集准确率超越 3.54%。

ABSTRACT

Heterogeneous graph is a kind of data structure widely existing in real life. Nowadays, the research of graph neural network on heterogeneous graph has become more and more popular. The existing heterogeneous graph neural network algorithms mainly have two ideas, one is based on meta-path and the other is not. The idea based on meta-path often requires a lot of manual preprocessing, at the same time it is difficult to extend to large scale graphs. In this paper, we proposed the general heterogeneous message passing paradigm and designed R-GSN that does not need meta-path, which is much improved compared to the baseline R-GCN. Experiments have shown that our R-GSN algorithm achieves the state-of-the-art performance on the ogbn-mag large scale heterogeneous graph dataset.

研究动机与目标

• 解决现有异质图神经网络严重依赖人工设计元路径所带来的局限性，此类方法工作量大且难以扩展。
• 提出一种通用的异质图消息传递范式，统一并形式化异质图中的消息传播机制。
• 设计一种端到端、可扩展的 GNN 模型——R-GSN，无需元路径，可应用于大规模数据集（如 ogbn-mag）。
• 通过引入新颖的基于相似性的聚合机制和归一化技术，提升节点分类任务的性能。
• 通过广泛的消融实验和对比研究，在多个基准数据集（包括 ogbn-arxiv、IMDB 和 DBLP）上验证所提方法的有效性。

提出的方法

• 提出一种包含四个步骤的通用异质图消息传递范式：消息转换、关系内聚合、关系间聚合和状态更新。
• 设计两种新颖的聚合机制：SIM-ATTN（带注意力）和 SIM（无注意力），用于在不同关系间计算基于相似性的消息聚合。
• 在多个阶段集成归一化操作以稳定训练并提升性能，经消融实验验证。
• 采用 FLAG 对抗性训练方法，并利用预传播生成缺乏初始特征的节点的初始特征，尤其在 ogbn-mag 上表现优异。
• 实施一种基于邻域采样的简化子图采样策略，以应对大规模图训练过程中的内存限制。
• 将 R-GSN 扩展为同质版本（GSN）和元路径感知版本（M-GSN），以支持更广泛的评估与消融实验。

实验结果

研究问题

• RQ1 能否形式化一种通用的异质图消息传递范式，以统一并泛化现有异质 GNN 模型？
• RQ2 像 R-GSN 这类无需元路径的 GNN 架构是否在大规模异质图上相比依赖元路径的模型展现出更优的性能与可扩展性？
• RQ3 所提出的 SIM-ATTN 和 SIM 聚合机制相较于传统消息传递和基于注意力的聚合方式是否更有效？
• RQ4 归一化、对抗性训练（FLAG）以及预传播在特征初始化方面对模型性能与稳定性有何影响？
• RQ5 所提方法是否能在 diverse 的异质图基准（如 ogbn-arxiv、IMDB 和 DBLP）上实现良好泛化？

主要发现

• 在 ogbn-mag 数据集上，R-GSN 的验证集准确率达到 51.82%，测试集准确率达到 50.32%，分别超越基线 R-GCN 4.21% 和 3.54%。
• SIM-ATTN 和 SIM 聚合机制显著优于标准 R-GCN 及其他基线模型，M-GSN 在 IMDB 和 DBLP 的所有训练/测试划分中均取得前三名成绩。
• 归一化操作对性能至关重要，消融实验表明无归一化的模型性能显著下降。
• FLAG 对抗性训练方法和预传播特征初始化进一步提升了模型的泛化能力与性能，尤其在 ogbn-mag 上效果显著。
• R-GSN 的同质版本（GSN）和元路径版本（M-GSN）验证了所提聚合机制在不同图类型与基准上的有效性与泛化能力。