[论文解读] Personalized Embedding Propagation: Combining Neural Networks on Graphs with Personalized PageRank.

Johannes Klicpera, Aleksandar Bojchevski+1 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Graph Neural Networks被引用 21

一句话总结

本文提出个性化嵌入传播（PEP）及其近似方法PEP_A，通过将图神经网络与个性化PageRank相结合，实现节点分类任务中大范围且可调节的邻域感受野。基于GCN与PageRank之间的数学关联，PEP在半监督图分类任务中实现了当前最优性能，且训练速度相当或更快，参数量更少，优于以往方法。

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood cannot be easily extended. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct personalized embedding propagation (PEP) and its approximation, PEP$_ ext{A}$. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification on multiple graphs in the most thorough study done so far for GCN-like models.

研究动机与目标

• 解决现有图神经网络仅考虑少数传播步长内节点的局限性。
• 开发一种可扩展且灵活的邻域聚合机制，可动态包含图中较远的节点。
• 在保持或提升模型性能的同时，相比现有基于GCN的模型，减少训练时间与参数数量。
• 构建一种通用的传播框架，可与任意图结构上的神经网络架构兼容。
• 通过全面的基准测试研究，实证验证该方法在多样化图数据集上的优越性。

提出的方法

• 推导图卷积网络（GCN）与个性化PageRank之间的理论联系，以指导新型消息传递机制的设计。
• 设计个性化嵌入传播（PEP）方案，利用个性化PageRank向量作为节点特征聚合的权重。
• 提出PEP_A，作为PEP的高效近似方法，显著降低计算成本同时保持性能。
• 在PageRank中引入可学习的个性化参数，以动态控制有效邻域大小。
• 将PEP机制作为可微分层集成，可与任意图结构上的神经网络架构结合使用。
• 利用个性化PageRank的闭式解，实现大规模图上的快速且可扩展的计算。

实验结果

研究问题

• RQ1 基于个性化PageRank的聚合机制是否能将GCN类模型的感受野扩展至局部邻域之外？
• RQ2 所提出的PEP方法在半监督图学习基准上是否优于现有基于GCN的模型？
• RQ3 当有效邻域大小扩大时，PEP是否能维持或减少训练时间与参数数量？
• RQ4 PEP在不同图数据集与架构上的性能表现如何扩展？
• RQ5 PEP在不修改架构的前提下，能否与多种神经网络架构无缝结合？

主要发现

• 在迄今为止最全面的评估中，PEP在多个基准图上优于近期提出的多种GCN类模型。
• 该模型在半监督节点分类任务中实现了当前最优性能，且具备更大、可调节的感受野。
• 尽管使用了更广的邻域，PEP的训练时间与现有模型相当或更短。
• PEP的参数量与竞争模型相当或更少，表明其具有高效性。
• 近似方法PEP_A在显著降低计算开销的同时，几乎完全保留了PEP的性能。
• 该方法具有通用性，可无缝集成到任意图结构数据上的神经网络架构中。