[论文解读] Representation Learning on Graphs with Jumping Knowledge Networks

Keyulu Xu, Chengtao Li+4 more|arXiv (Cornell University)|Jun 9, 2018

Advanced Graph Neural Networks参考文献 21被引用 726

一句话总结

JK-Nets 自适应地为每个节点组合邻域范围，提升相对于标准 GCN/GAT 的性能，并在不同图上持续提升基线模型如 GraphSAGE 和 GAT 的性能。

ABSTRACT

Recent deep learning approaches for representation learning on graphs follow a neighborhood aggregation procedure. We analyze some important properties of these models, and propose a strategy to overcome those. In particular, the range of "neighboring" nodes that a node's representation draws from strongly depends on the graph structure, analogous to the spread of a random walk. To adapt to local neighborhood properties and tasks, we explore an architecture -- jumping knowledge (JK) networks -- that flexibly leverages, for each node, different neighborhood ranges to enable better structure-aware representation. In a number of experiments on social, bioinformatics and citation networks, we demonstrate that our model achieves state-of-the-art performance. Furthermore, combining the JK framework with models like Graph Convolutional Networks, GraphSAGE and Graph Attention Networks consistently improves those models' performance.

研究动机与目标

• 动机与分析图神经网络中固定范围邻域聚合的局限性。
• 提出 JK-Nets，使每个节点能够自适应地从多个邻域范围中选择信息。
• 证明将 JK-Nets 与基线模型（GCN、GraphSAGE、GAT）结合时能提升性能。
• 在多个数据集（Citeseer、Cora、Reddit、PPI）上进行经验评估，以展示对不同图结构的鲁棒性。

提出的方法

• 引入 Jumping Knowledge (JK) 框架，其以最后一层聚合结束，有选择地将来自多层的表示进行融合。
• 提供三种 JK 聚合选项：Concat、MaxPooling 和 LSTM-attention，用于融合多层表示。
• 建立聚合影响分布与随机游走之间的理论联系；证明带有最大池化的 JK-Net 会产生 k 步随机游走分布的混合。
• 展示将 JK 集成到 GCN、GraphSAGE 和 GAT 架构时的兼容性与改进。

实验结果

研究问题

• RQ1 自适应、节点特定的邻域范围选择是否能够超越图神经网络中的固定范围聚合？
• RQ2 JK-Nets 如何与图上信息传播的随机游走解释相关？
• RQ3 在不同图域中将 JK-Nets 与不同基线模型结合时，是否能持续提升性能？
• RQ4 JK-Nets 在引文、社交/ Reddit 和生物网络上的经验收益是什么？

主要发现

• 在 Citeseer 和 Cora 数据集上，JK-Nets 在所有测试的层配置中均优于 GCN 和 GAT 基线。
• 在 Citeseer 上，使用简单聚合的 JK-Nets 在 1 层时可达到最高 0.78 的准确率，6 层时表现也具竞争力（例如 JK-MaxPool 1: 77.7，JK-Concat 1: 78.3，JK-LSTM 2: 74.7）。
• 在 Cora 上，JK-Nets 在 6 层时达到最佳性能（例如 JK-MaxPool 6: 89.6，JK-Concat 6: 89.1，JK-LSTM 1: 85.8）。
• 对于 Reddit，以 GraphSAGE 为基底并采用 MaxPool+Concat 聚合的 JK-Net 可达到 Micro-F1 高达 0.965，较基线 GraphSAGE 有所提升。
• 在 PPI 上，采用 LSTM-attention 的 JK-Nets 优于基线（GAT、GraphSAGE 变体），在各配置下 Micro-F1 达到 0.969–0.976。
• JK-LSTM 及其他自适应 JK 变体在具有多样子图结构的图（如 PPI）上尤为出色，而固定范围方法表现不佳。