[论文解读] Neural Link Prediction with Walk Pooling

Liming Pan, Shi Cheng+1 more|arXiv (Cornell University)|Oct 8, 2021

Advanced Graph Neural Networks参考文献 34被引用 12

一句话总结

该论文提出 WalkPool，一种新颖的神经链接预测方法，通过在潜在图上使用注意力驱动的随机游走概率学习拓扑启发式规则，实现与图神经网络（GNN）的端到端训练。该方法在多种同质性和异质性图上均达到最先进性能，显著提升了无监督 GNN 在链接预测基准上的表现，通过联合建模拓扑结构与节点特征实现。

ABSTRACT

Graph neural networks achieve high accuracy in link prediction by jointly leveraging graph topology and node attributes. Topology, however, is represented indirectly; state-of-the-art methods based on subgraph classification label nodes with distance to the target link, so that, although topological information is present, it is tempered by pooling. This makes it challenging to leverage features like loops and motifs associated with network formation mechanisms. We propose a link prediction algorithm based on a new pooling scheme called WalkPool. WalkPool combines the expressivity of topological heuristics with the feature-learning ability of neural networks. It summarizes a putative link by random walk probabilities of adjacent paths. Instead of extracting transition probabilities from the original graph, it computes the transition matrix of a "predictive" latent graph by applying attention to learned features; this may be interpreted as feature-sensitive topology fingerprinting. WalkPool can leverage unsupervised node features or be combined with GNNs and trained end-to-end. It outperforms state-of-the-art methods on all common link prediction benchmarks, both homophilic and heterophilic, with and without node attributes. Applying WalkPool to a set of unsupervised GNNs significantly improves prediction accuracy, suggesting that it may be used as a general-purpose graph pooling scheme.

研究动机与目标

• 为解决 GNN 在直接利用拓扑结构进行链接预测时的局限性，特别是针对图 motifs 和长程相关性建模的不足。
• 克服经典启发式方法（如路径权重的固定衰减）的临时假设，这些假设无法在不同图类型间泛化。
• 开发一种统一的、可训练的池化机制，将节点属性与拓扑结构编码为单一的拓扑指纹。
• 实现 GNN 的端到端训练，其中池化层显式建模拓扑模式，而无需硬编码结构规则。
• 提升在同质性和异质性图上的链接预测准确率，包括节点属性有限或缺失的图。

提出的方法

• WalkPool 通过将注意力机制应用于学习到的节点表示，构建一个用于预测的潜在图，利用注意力系数作为随机游走的转移概率。
• 该方法计算候选链接邻近路径上的随机游走概率，将拓扑结构总结为紧凑且可学习的特征向量。
• 它可与监督和无监督 GNN 集成，支持端到端训练，同时保持拓扑启发式规则的表达能力。
• 注意力机制实现了对特征敏感的拓扑指纹编码，其中转移概率可根据节点特征和局部结构自适应调整。
• WalkPool 通过使用学习到的游走概率直接总结链接周围的局部拓扑结构，替代传统池化或子图提取方法。
• 该方法具有通用性：适用于多种图类型（同质性和异质性图），且无需针对每个数据集进行超参数调优。

实验结果

研究问题

• RQ1 可学习的、基于注意力的随机游走池化机制是否能在多种图类型上超越固定拓扑启发式规则的链接预测性能？
• RQ2 WalkPool 在统一的、可微分框架中，能否有效结合节点属性与拓扑结构？
• RQ3 WalkPool 是否能提升无监督 GNN 在链接预测中的性能，即使不进行微调？
• RQ4 WalkPool 是否能泛化到不同的图生成机制，包括强异质性图？
• RQ5 WalkPool 对现实世界图中图 motifs 和长程相关性的建模有何影响？

主要发现

• 在无节点属性的全部八个基准数据集中，WalkPool 均达到最先进 AUC 性能，其中在 Cora 数据集上取得最高 98.68±0.48 的得分。
• 在包含节点属性的数据集中，WalkPool 与 GIC（图自编码器）结合后，在 Pubmed 数据集上达到 98.72±0.10 的 AUC，显著优于次佳方法 2.8 个百分点。
• WalkPool 与无监督 GNN（如 GIC）结合后，显著提升了所有三个测试数据集的预测准确率，其中在 Pubmed 上提升最大，表明拓扑结构在此图中更为关键。
• 在 E.coli 数据集上，WalkPool 将 SEAL 的 AUC 从 97.64±0.22 提升至 98.58±0.19，证明其在顶尖模型上依然有效。
• WalkPool 在所有数据集上使用相同的超参数均取得一致的性能增益，证实其在不同图类型上的鲁棒性与通用性。