[论文解读] SIGN: Scalable Inception Graph Neural Networks

Fabrizio Frasca, Emanuele Rossi+4 more|arXiv (Cornell University)|Apr 23, 2020

Advanced Graph Neural Networks参考文献 71被引用 187

一句话总结

SIGN 是一种无采样的图神经网络，使用多尺度、可预计算的扩散算子在一个类似 Inception 的模块中，以实现对网络级别大规模图的扩展，同时达到具有竞争力或最先进的结果。

ABSTRACT

Graph representation learning has recently been applied to a broad spectrum of problems ranging from computer graphics and chemistry to high energy physics and social media. The popularity of graph neural networks has sparked interest, both in academia and in industry, in developing methods that scale to very large graphs such as Facebook or Twitter social networks. In most of these approaches, the computational cost is alleviated by a sampling strategy retaining a subset of node neighbors or subgraphs at training time. In this paper we propose a new, efficient and scalable graph deep learning architecture which sidesteps the need for graph sampling by using graph convolutional filters of different size that are amenable to efficient precomputation, allowing extremely fast training and inference. Our architecture allows using different local graph operators (e.g. motif-induced adjacency matrices or Personalized Page Rank diffusion matrix) to best suit the task at hand. We conduct extensive experimental evaluation on various open benchmarks and show that our approach is competitive with other state-of-the-art architectures, while requiring a fraction of the training and inference time. Moreover, we obtain state-of-the-art results on ogbn-papers100M, the largest public graph dataset, with over 110 million nodes and 1.5 billion edges.

研究动机与目标

• 为无需采样的网络级大规模图推动可扩展的图表示学习。
• 提出一种轻量且表达能力强的架构，预先计算扩散算子以实现快速训练和推理。
• 在大型归纳与传导节点分类基准上展示具有竞争力的或最先进的性能。

提出的方法

• 提出 SIGN，一种在多种扩散算子上的 inception 风格模块的模型：Y = σ([XΘ0，A1XΘ1，...，ArXΘr]); Z = 处理后的特征拼接；Y = ξ(ZΩ)。
• 使用可预计算的扩散算子 Ai（简单邻接、个性化 PageRank 的幂次变体，以及基于三角形的邻接）的变化形式来将计算与图结构解耦。
• 允许将算子组合为 SIGN(p, s, t)，其中 p、s、t 控制简单邻接、PPR 和基于三角形的邻接的幂次数，从而实现灵活、任务驱动的感受野。
• 将 SIGN 视为一个浅层架构，其中图过滤一次性计算（预计算），后续的 MLP 风格处理随 N 和 d 的规模扩展，而非随图大小。
• 通过适当选择算子和激活函数，证明 SIGN 可以模拟常见的 GCN/S-GCN 变体（表 2）。
• 在大规模基准上使用贝叶斯优化以及标准训练技巧（Adam、 dropout、批量归一化、提前停止）进行评估。

实验结果

研究问题

• RQ1 在没有邻居采样的情况下，使用多算子、inception 风格的扩散的无采样 GNN 能否在大规模图上达到具有竞争力的性能？
• RQ2 不同扩散算子（简单邻接、PPR、基于三角形的，以及它们的幂次）在归纳和传导任务中对性能有何影响？
• RQ3 在网络规模数据集上使用 SIGN 时，扩展性（训练/推理速度）与准确性之间的权衡是什么？
• RQ4 在最大的公开图基准上（如 ogbn-papers100M）是否能够在保持效率的同时达到最先进的结果？
• RQ5 在收敛性和运行时间方面，SIGN 与基于采样的方法及其他可扩展的 GNN 有何比较？

主要发现

• 在无采样方法中，SIGN 在 ogbn-papers100M 上达到最先进的结果，传导设定下至少比其他方法高出 1.8% 以上。
• 在 ogbn-papers100M 上，SIGN 快速完成评估，验证阶段约 1.99s，测试约 3.34s（10 次运行）。
• SIGN 在 ogbn-products 上的无采样基线至少领先 2.7%，并在归纳数据集（Reddit、Flickr、PPI）上获得具有竞争力的结果。
• SIGN 在训练阶段相比 ClusterGCN 和 GraphSAINT 显著提速，并且在推理阶段在大图（多达 1200 万节点）上至少快一个数量级，是最快的。
• SIGN 的性能对算子选择具有鲁棒性；最佳配置依赖于数据集，在不同任务中，PPR、三角形和简单邻接的幂次贡献不同。
• A1X，...，ArX 的预计算使复杂度可与 MLP 相当，随 O(r Lff N d^2) 线性扩展，使训练/推理与图结构无关。