[论文解读] Position-aware Graph Neural Networks

Jiaxuan You, Rex Ying+1 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Graph Neural Networks被引用 88

一句话总结

P-GNNs 引入基于锚集合的距离嵌入，用以捕捉图中节点的位置，实现归纳式、可扩展且具特征感知的定位感知表征，在多种任务上优于传统 GNNs。

ABSTRACT

Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set,and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable,and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.

研究动机与目标

• 阐述需要对节点进行编码其在图中位置的嵌入，超越局部邻域结构。
• 提出一个可扩展、归纳式的 GNN 框架 (P-GNN)，使用锚集合和距离加权聚合来学习定位感知的嵌入。
• 证明 P-GNNs 比传统 GNNs 更具表达能力，并且可以实现为一个快速变体 (P-GNN-Fast)。
• 在多个数据集和任务上对 P-GNN 进行经验评估，显示出对最先进 GNN 的显著性能提升。

提出的方法

• 在每次前向传播中采样 k 个随机锚集合 S_i，以捕捉相对于锚点的节点位置。
• 使用基于距离的相似度 s(v,u) 和节点特征来计算每个锚集合的消息，然后通过可学习函数 Agg_M 和 Agg_S 进行聚合。
• 用一个可训练的权重向量 w 将锚集合消息矩阵 M 投影成位置感知嵌入 z_v。
• 堆叠多个 P-GNN 层以提高表达能力，保持位置感知并创建用于传播的结构感知消息 h_v。
• 将锚集合选择基于 Bourgain 定理以保证在 k = O(log^2 n) 下实现低失真距离保留。
• 提供一个快速变体 P-GNN-Fast，使用近似距离计算以维持与传统 GNNs 相当的可扩展复杂度。

实验结果

研究问题

• RQ1 是否可以学习相对于一组共享锚集合的节点位置，以区分结构同构的节点？
• RQ2 相较于标准 GNN，基于锚集合的距离嵌入是否提升了链路预测和社区检测等图任务的预测性能？
• RQ3 P-GNN 的表达能力与现有 GNN 架构相比如何，P-GNN 是否可以实现一个可扩展的快速变体？
• RQ4 在下游任务中将节点特征与定位感知嵌入结合使用会产生怎样的影响？

主要发现

Model	Grid-T	Communities-T	Grid	Communities	PPI
GCN	0.698±0.051	0.981±0.004	0.456±0.037	0.512±0.008	0.769±0.002
GraphSAGE	0.682±0.050	0.978±0.003	0.532±0.050	0.516±0.010	0.803±0.005
GAT	0.704±0.050	0.980±0.005	0.566±0.052	0.618±0.025	0.783±0.004
GIN	0.732±0.050	0.984±0.005	0.499±0.054	0.692±0.049	0.782±0.010
P-GNN-F-1L	0.542±0.057	0.930±0.093	0.619±0.080	0.939±0.083	0.719±0.027
P-GNN-F-2L	0.637±0.078	0.989±0.003	0.694±0.066	0.991±0.003	0.805±0.003
P-GNN-E-1L	0.665±0.033	0.966±0.013	0.879±0.039	0.985±0.005	0.775±0.029
P-GNN-E-2L	0.834±0.099	0.988±0.003	0.940±0.027	0.985±0.008	0.808±0.003

• P-GNNs 在不同数据集和任务上持续优于最先进的 GNN 变体，报告结果的 ROC AUC 提升最高可达 66%。
• 消融研究表明通过锚集合引入位置信息相较于纯结构感知嵌入带来显著提升。
• P-GNN-Fast 在性能上与完整的 P-GNN 相当，同时保持与传统 GNN 相似的可扩展复杂度。
• 理论分析表明 P-GNNs 能推广常规 GNN，并通过利用与共享锚点的节点嵌入联合分布，提供更强的表达能力。
• 根据 Bourgain 指导（O(log^2 n)）确定的锚集合大小实现低失真距离保留。