[论文解读] Structure Enhanced Graph Neural Networks for Link Prediction

Baole Ai, Qin Zhou+2 more|arXiv (Cornell University)|Jan 14, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出结构增强图神经网络（SEG），通过引入路径标记（PL）来编码目标节点周围的拓扑结构，并利用联合训练框架将这些结构嵌入与节点特征融合，从而实现链接预测。SEG在OGB链接预测的三个基准数据集上均取得了最先进性能，优于先前方法（包括SEAL和GCN）。

ABSTRACT

Graph Neural Networks (GNNs) have shown promising results in various tasks, among which link prediction is an important one. GNN models usually follow a node-centric message passing procedure that aggregates the neighborhood information to the central node recursively. Following this paradigm, features of nodes are passed through edges without caring about where the nodes are located and which role they played. However, the neglected topological information is shown to be valuable for link prediction tasks. In this paper, we propose Structure Enhanced Graph neural network (SEG) for link prediction. SEG introduces the path labeling method to capture surrounding topological information of target nodes and then incorporates the structure into an ordinary GNN model. By jointly training the structure encoder and deep GNN model, SEG fuses topological structures and node features to take full advantage of graph information. Experiments on the OGB link prediction datasets demonstrate that SEG achieves state-of-the-art results among all three public datasets.

研究动机与目标

• 解决标准GNN在消息传递过程中忽略拓扑结构的局限性。
• 设计一种有效的方法，以编码捕捉节点在局部图拓扑中角色与位置的结构特征。
• 构建一个统一框架，联合学习节点特征与结构嵌入，以提升链接预测性能。
• 在真实世界图数据集上，证明所提方法优于现有GNN及基于拓扑的基线方法。

提出的方法

• 提出路径标记（PL），一种新颖的节点位置标记方法，基于目标节点到邻接子图中其他节点的最短路径距离分配标签。
• 设计一个结构编码器，将基于PL的结构特征转换为低维结构嵌入。
• 引入特征融合模块，将节点特征与结构嵌入映射到共享潜在空间。
• 构建一个GNN模型，使用融合后的嵌入作为消息传递的初始节点表示。
• 通过端到端联合优化训练结构编码器与GNN，以提升表征学习效果。
• 将最终GNN输出与目标节点的结构嵌入相似性相结合，用于最终链接预测。

实验结果

研究问题

• RQ1 能否有效编码目标节点周围的拓扑结构，以在节点特征之外提升链接预测性能？
• RQ2 所提出的路径标记（PL）方法与现有结构编码技术（如DRNL）相比，是否更能捕捉有意义的结构模式？
• RQ3 结构编码器与GNN的联合训练是否优于单独训练或简单拼接？
• RQ4 在局部拓扑可能不具区分性的密集图中，模型表现如何？
• RQ5 该框架能否在包括引文、合作与药物相互作用网络在内的多种图类型上实现良好泛化？

主要发现

• SEG在OGB链接预测的三个数据集上均取得最先进性能，在ogbl-collab数据集上Hits@50达到0.5535 ± 0.0039，优于SEAL（0.5371 ± 0.0047）。
• 消融实验表明，结构编码器与GNN的联合训练（SEG）优于仅训练GNN（SEG-GNN），证明端到端优化的优势。
• 在SEG框架中用PL替代DRNL（SEG-DRNL）后性能优于原始SEAL，表明PL在结构编码方面更具有效性。
• SEG-DRNL在ogbl-collab上的Hits@50高于原始SEAL，证实SEG框架即使在不同结构编码下也具有效性。
• 在密集的ogbl-ddi数据集上，SEG仍优于SEAL与DE-GNN，但落后于标准GNN（如GCN与GraphSAGE），表明在高密度图中局部结构信息的判别性降低。
• 分析显示，PL仅使用4种标签值，而DRNL使用17种，表明更少、更受约束的标签可减少噪声并提升泛化能力。