[论文解读] Scalable Graph Neural Networks for Heterogeneous Graphs

Lingfan Yu, Jiajun Shen+2 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Graph Neural Networks参考文献 33被引用 26

一句话总结

本文提出邻居平均关系子图（NARS），一种适用于异质图的可扩展方法。该方法在随机采样的关系子图上计算邻居平均特征，并通过一维卷积进行融合。NARS通过比深层GNN更有效地利用图特征平滑，实现了基准数据集上的最先进准确率，同时通过近似技术保持了高可扩展性和内存效率。

ABSTRACT

Graph neural networks (GNNs) are a popular class of parametric model for learning over graph-structured data. Recent work has argued that GNNs primarily use the graph for feature smoothing, and have shown competitive results on benchmark tasks by simply operating on graph-smoothed node features, rather than using end-to-end learned feature hierarchies that are challenging to scale to large graphs. In this work, we ask whether these results can be extended to heterogeneous graphs, which encode multiple types of relationship between different entities. We propose Neighbor Averaging over Relation Subgraphs (NARS), which trains a classifier on neighbor-averaged features for randomly-sampled subgraphs of the "metagraph" of relations. We describe optimizations to allow these sets of node features to be computed in a memory-efficient way, both at training and inference time. NARS achieves a new state of the art accuracy on several benchmark datasets, outperforming more expensive GNN-based methods

研究动机与目标

• 探究类似SIGN的邻居平均方法是否可扩展至包含多种实体类型和关系类型的异质图。
• 开发一种适用于大规模异质图学习的可扩展且内存高效的模型，无需依赖端到端训练的消息传递层。
• 评估图特征平滑（而非学习到的分层特征变换）是否为真实世界图基准中GNN性能的主要驱动因素。
• 通过比较不同的特征初始化策略，解决异质图中无特征节点的处理挑战。
• 通过子采样关系子图优化训练效率，同时不损失模型准确率。

提出的方法

• NARS从异质图的元图中随机采样关系类型的子集，构建关系子图。
• 对于每个采样得到的子图，通过类似消息传递的聚合方式，计算其边上的邻居平均节点特征。
• 将多个子图的平均特征拼接后，通过一维卷积层学习联合表示。
• 最终分类器在组合特征上进行端到端训练，实现高效训练与推理。
• 提出NARS的近似变体，通过限制训练过程中一次处理的子图数量，降低内存使用。
• 对于无输入特征的节点，NARS评估了多种初始化策略，包括零填充、邻居平均以及预训练图嵌入（如TransE）。

实验结果

研究问题

• RQ1 类似SIGN的邻居平均方法能否有效扩展至具有多种节点类型和关系类型的异质图？
• RQ2 在真实世界异质图基准中，图特征平滑是否主导GNN性能，而非深层分层特征学习？
• RQ3 采样关系子图的数量如何影响NARS模型的准确率与方差？
• RQ4 不同特征初始化策略对无特征节点的影响如何影响NARS的性能？
• RQ5 能否通过子采样关系子图实现NARS的内存高效训练而不降低准确率？

主要发现

• NARS在三个基准数据集上实现了最先进准确率，优于HGT和R-GCN等更复杂的GNN模型。
• 在OGB-MAG数据集上，采样五个或更多关系子图的性能持续超过HGT和R-GCN，使用TransE嵌入时测试准确率达到0.5214 ± 0.0016。
• 使用预训练的TransE嵌入作为无特征节点的初始化，性能最高，相比零填充准确率提升超过10%。
• 每个阶段仅使用一个采样子图进行训练即可获得良好性能（0.5187 ± 0.0011），且方差较低，表明高准确率可在极低计算开销下实现。
• NARS的近似版本与完整版本保持近乎相同的准确率，验证了其在大规模部署中的内存效率。
• 结果表明，图特征平滑是GNN中的主导信号，当前基准上深层分层特征学习的收益有限。