[论文解读] Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 34被引用 19

一句话总结

本文提出循环图神经网络（RGNNs），这是一种新型图神经网络（GNN）类别，通过在图消息传递中引入循环单元（LSTM/GRU），以捕捉长期依赖关系并抑制噪声邻域信息。RGNNs 在 PubMed、Reddit 和 PPI 数据集上达到最先进性能，优于标准 GNN 以及使用残差连接的 GNN，尤其在图结构和特征存在噪声的条件下表现更优。

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

研究动机与目标

• 为解决由于邻域信息传播存在噪声而导致深层 GNN 训练困难的问题。
• 探究循环单元是否能在支持更深 GNN 架构方面优于残差连接。
• 通过在保留局部特征的同时捕捉跨层的长程依赖关系，改进归纳表征学习。
• 开发一种灵活的框架，适用于多种 GNN 与循环单元组合（例如 LSTM、GRU、IndRNN、SRU）。

提出的方法

• 提出一种通用框架——循环图神经网络（RGNN），在 GNN 层之间插入循环单元（LSTM 或 GRU），以在各层间保持隐藏状态。
• 使用门控循环单元，在递归邻域扩展过程中选择性地保留或遗忘信息，从而建模长期依赖关系。
• 将循环机制应用于将历史邻域信息压缩为隐藏状态，从而减少噪声累积。
• 支持多种 GNN 变体（如 GCN、GAT）与不同循环单元的组合，实现模块化和可扩展的架构设计。
• 在每一层使用标准的 GNN 消息传递机制（如图卷积或注意力机制），并在层间通过循环单元更新隐藏状态。
• 隐藏状态使用标准 LSTM/GRU 更新规则进行更新，其中输入门、遗忘门和输出门控制信息在各层间的流动。

实验结果

研究问题

• RQ1 在深层消息传递过程中，GNN 中的循环单元是否能有效抑制噪声邻域信息？
• RQ2 用循环单元替代残差连接是否能提升深层 GNN 的性能？
• RQ3 在图结构和特征噪声方面，RGNN 框架与使用残差连接的 GNN 相比，其鲁棒性如何？
• RQ4 RGNN 框架能否在不同 GNN 架构和循环单元类型（如 LSTM 与 GRU）之间实现泛化？
• RQ5 与跳跃连接相比，循环机制在支持更深层次归纳图表征学习方面是否更有效？

主要发现

• 在 PubMed、Reddit 和 PPI 数据集上，RGNN 在监督和无监督设置下均达到最先进性能。
• 在大多数设置下，使用 LSTM 单元的 RGNN 表现优于使用 GRU 单元的 RGNN，尤其在高噪声水平下表现更优。
• 与使用残差连接的 GNN 相比，RGNN 在图结构扰动（如随机边重连）方面表现出更优的鲁棒性。
• 当局部节点特征受高斯噪声污染时，RGNN 仍能保持较高性能，表明其具备更强的噪声过滤能力。
• 随着深度增加，使用残差连接的 GNN 性能显著下降，而 RGNN 的性能则保持稳定或进一步提升。
• 在扰动研究中，使用 LSTM 单元的 RGNN 在图结构和节点特征的多种噪声水平下均表现出最一致的鲁棒性。