[论文解读] RAW-GNN: RAndom Walk Aggregation based Graph Neural Network

Di Jin, Rui Wang+5 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出了一种新型图神经网络RAW-GNN，通过广度优先和深度优先随机游走构建基于路径的邻域，替代传统的邻域聚合机制。通过采用基于RNN的聚合器与注意力机制，融合同型性（BFS）与异型性（DFS）信号，RAW-GNN在同型性和异型性图上均实现了最先进性能，在异型性数据集上的表现优于现有方法最高达10.35%。

ABSTRACT

Graph-Convolution-based methods have been successfully applied to representation learning on homophily graphs where nodes with the same label or similar attributes tend to connect with one another. Due to the homophily assumption of Graph Convolutional Networks (GCNs) that these methods use, they are not suitable for heterophily graphs where nodes with different labels or dissimilar attributes tend to be adjacent. Several methods have attempted to address this heterophily problem, but they do not change the fundamental aggregation mechanism of GCNs because they rely on summation operators to aggregate information from neighboring nodes, which is implicitly subject to the homophily assumption. Here, we introduce a novel aggregation mechanism and develop a RAndom Walk Aggregation-based Graph Neural Network (called RAW-GNN) method. The proposed approach integrates the random walk strategy with graph neural networks. The new method utilizes breadth-first random walk search to capture homophily information and depth-first search to collect heterophily information. It replaces the conventional neighborhoods with path-based neighborhoods and introduces a new path-based aggregator based on Recurrent Neural Networks. These designs make RAW-GNN suitable for both homophily and heterophily graphs. Extensive experimental results showed that the new method achieved state-of-the-art performance on a variety of homophily and heterophily graphs.

研究动机与目标

• 为解决GCN在异型性图中节点标签不同时连接的局限性。
• 克服基于求和操作符的标准GCN聚合机制中隐含的同型性偏差。
• 开发一种统一的GNN框架，能够在单一模型中有效捕捉同型性与异型性模式。
• 提升在多样化现实世界图上的节点分类性能，包括低同型性或无同型性的图。

提出的方法

• 该方法通过广度优先搜索（BFS）生成用于同型性的路径邻域，通过深度优先搜索（DFS）生成用于异型性的路径邻域。
• 用基于RNN的序列编码器替代标准邻域聚合，以建模沿随机游走路径的有序邻居特征。
• 模型使用注意力机制融合来自BFS和DFS通道的嵌入表示，实现同型性与异型性信号之间的自适应权衡。
• 通过拼接各策略特异性嵌入表示节点表征，避免信息混合，保留不同的结构模式。
• 采用交叉熵损失进行端到端训练，适用于节点分类任务。

实验结果

研究问题

• RQ1 能否在不依赖标签引导或距离-based聚合的情况下，使GNN框架有效处理同型性和异型性图？
• RQ2 使用基于随机游走的路径邻域是否能提升在异型性主导图上的表征学习性能？
• RQ3 基于RNN的聚合器是否能比标准求和或注意力机制聚合器更好地建模序列化邻居特征？
• RQ4 BFS与DFS通道的注意力融合机制如何影响不同图类型下的模型性能？

主要发现

• RAW-GNN在七项真实世界数据集中的五项上达到最先进性能，包括全部四项异型性主导网络：Texas、Wisconsin、Cornell和Actor。
• 在Actor数据集上，RAW-GNN相比第二好的方法准确率提升10.35%，在异型性设置下表现出显著优越性。
• 在Cora数据集上，RAW-GNN达到最高准确率（84.86%），优于GCN和GraphSAGE分别1.32%和0.87%。
• Cora上的可视化结果表明，RAW-GNN在t-SNE投影中产生了最清晰的类别边界，类别混合最少。
• 对于特征同型性比率（F.H.R < 0.2）较低的数据集，最优路径长度更长，表明在异型性图中需要更大的感受野以捕捉隐藏的邻域结构。