[论文解读] Pure Message Passing Can Estimate Common Neighbor for Link Prediction

Kaiwen Dong, Zhichun Guo+1 more|arXiv (Cornell University)|Sep 2, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文表明，通过利用准正交节点向量，图神经网络中的纯消息传递机制能够有效估计用于链接预测的共同邻居（CN）特征。所提出的消息传递链接预测器（MPLP）通过传播准正交向量的内积近似联合结构特征，在基准数据集上超越了当前最先进方法的性能表现。

ABSTRACT

Message Passing Neural Networks (MPNNs) have emerged as the {\em de facto} standard in graph representation learning. However, when it comes to link prediction, they often struggle, surpassed by simple heuristics such as Common Neighbor (CN). This discrepancy stems from a fundamental limitation: while MPNNs excel in node-level representation, they stumble with encoding the joint structural features essential to link prediction, like CN. To bridge this gap, we posit that, by harnessing the orthogonality of input vectors, pure message-passing can indeed capture joint structural features. Specifically, we study the proficiency of MPNNs in approximating CN heuristics. Based on our findings, we introduce the Message Passing Link Predictor (MPLP), a novel link prediction model. MPLP taps into quasi-orthogonal vectors to estimate link-level structural features, all while preserving the node-level complexities. Moreover, our approach demonstrates that leveraging message-passing to capture structural features could offset MPNNs' expressiveness limitations at the expense of estimation variance. We conduct experiments on benchmark datasets from various domains, where our method consistently outperforms the baseline methods.

研究动机与目标

• 探究纯消息传递图神经网络是否能在保持排列不变性的同时，近似表示如共同邻居（CN）这类启发式链接预测特征。
• 解决 MPNN 在捕捉共同邻居等关键链接预测联合结构特征方面的局限性。
• 开发一种新型链接预测模型，利用消息传递机制估计类似 CN 的特征，而无需依赖显式启发式规则。
• 建立一种新范式：通过向量正交性与内积操作，使消息传递编码链接级别的结构信息。
• 通过实证验证，所提出方法在性能上超越现有基于 GNN 和启发式方法的链接预测模型。

提出的方法

• 为节点分配准正交（QO）向量作为初始表示，利用高维空间中近似正交向量族的指数级增长特性。
• 使用标准消息传递机制传播这些 QO 向量，其中每个节点通过求和聚合其邻居的向量。
• 将两个节点在消息传递后最终隐藏表示的内积估计为它们之间的共同邻居数量。
• 理论上证明了节点表示的期望内积可近似共同邻居数量，且方差受图结构的约束。
• 引入一种训练策略，通过移除正样本链接的捷径边，确保在学习过程中对结构特征估计的准确性。
• 采用改进的训练流程以避免分布偏移并提升泛化能力，其中一种变体（MPLP+）通过牺牲部分性能来降低计算成本。

(a)

实验结果

研究问题

• RQ1 纯消息传递图神经网络是否能在未显式设计的情况下，近似表示共同邻居这一基础链接预测特征？
• RQ2 节点表示的正交性在多大程度上使消息传递网络能够捕捉如 CN 这类联合结构特征？
• RQ3 内积估计的方差在多大程度上依赖于图结构，特别是在稠密图或具有高阶中心节点的图中？
• RQ4 仅通过向量运算估计 CN 的消息传递模型是否能实现最先进水平的链接预测性能？
• RQ5 在该消息传递框架中，训练成本与推理准确率之间存在何种权衡？

主要发现

• 消息传递后节点表示的期望内积可近似真实共同邻居数量，且方差具有理论边界。
• 该方法在多个基准数据集上实现了最先进性能，持续超越基于 GNN 的基线模型和 CN 等启发式方法。
• 在稠密图或具有高阶中心节点的图中，估计的方差增大，表明对图结构具有敏感性。
• 尽管理论与实证结果均表现成功，但 MPLP 的训练成本显著高于推理阶段，这是由于训练过程中动态图结构变化所致。
• 一种变体 MPLP+ 通过掩码正样本链接降低了训练成本，但性能表现欠佳，表明效率与准确率之间存在权衡。
• 本研究证实，纯消息传递机制能够编码链接级别的结构特征，挑战了 MPNN 天然不具备此类能力的假设。

(b)