[论文解读] SPINE: Structural Identity Preserved Inductive Network Embedding

Junliang Guo, Linli Xu+1 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Graph Neural Networks参考文献 38被引用 7

一句话总结

SPINE 提出了一种归纳式网络嵌入框架，通过利用基于根 PageRank 的结构特征和有偏置的 Skip-Gram 负采样策略，联合保持局部邻近性和全局结构身份。该方法通过以可泛化的端到端可训练方式有效编码局部和高阶结构信息，在归纳式和直推式节点分类与链接预测任务中均取得了最先进性能。

ABSTRACT

Recent advances in the field of network embedding have shown that low-dimensional network representation is playing a critical role in network analysis. Most existing network embedding methods encode the local proximity of a node, such as the first- and second-order proximities. While being efficient, these methods are short of leveraging the global structural information between nodes distant from each other. In addition, most existing methods learn embeddings on one single fixed network, and thus cannot be generalized to unseen nodes or networks without retraining. In this paper we present SPINE, a method that can jointly capture the local proximity and proximities at any distance, while being inductive to efficiently deal with unseen nodes or networks. Extensive experimental results on benchmark datasets demonstrate the superiority of the proposed framework over the state of the art.

研究动机与目标

• 解决现有网络嵌入方法无法同时保持局部邻近性和全局结构身份的局限性。
• 开发一种归纳式框架，能够在不重新训练的情况下泛化到未见过的节点或网络。
• 建模节点之间在任意距离上的结构身份（角色或位置），而不仅限于直接邻居。
• 将基于根 PageRank 的结构特征整合到端到端学习框架中，以提升表示学习效果。
• 设计一种新型正样本采样策略，应用于 Skip-Gram 负采样，优先选择结构上相似的节点对，以增强嵌入中的结构信息。

提出的方法

• 使用根 PageRank (RPR) 为每个节点分配结构特征向量，以捕捉高阶结构身份。
• 构建一个嵌入生成器，通过聚合邻居节点的结构和内容特征来学习节点表示。
• 提出一种有偏置的 Skip-Gram 负采样 (SGNS) 方法，其正样本采样策略由节点间的结构相似性得分引导。
• 设计一个联合目标函数，通过对比学习同时优化局部邻近性和结构身份的保持。
• 使用多层神经网络生成低维嵌入，使其能够泛化到未见过的节点或网络。
• 使用可学习的参数矩阵将结构特征映射到嵌入空间，从而实现归纳泛化。

实验结果

研究问题

• RQ1 一种网络嵌入方法是否能够同时在任意距离上保持局部邻近性和结构身份（即节点角色）？
• RQ2 一种归纳式框架是否能够在不重新训练的情况下泛化到未见过的节点或新网络？
• RQ3 与仅依赖局部邻近性的方法相比，将根 PageRank 的结构特征纳入是否能提升所学嵌入的质量？
• RQ4 所提出的方法对结构扰动（如边删除或内容变化）的鲁棒性如何？
• RQ5 在 SGNS 中采用有偏置的正样本采样策略是否能增强嵌入空间中结构身份的保持？

主要发现

• SPINE 在基准数据集上的直推式和归纳式节点分类与链接预测任务中均取得了最先进性能。
• 在 FB-686 数据集上，SPINE 将连通节点对与镜像节点对之间平均距离的比值降低至 5.72，显著低于 struc2vec 的 13.40，表明局部邻近性与结构邻近性之间的分离更清晰。
• 即使在 30% 边被删除的情况下，SPINE 仍能将连通节点对与镜像节点对之间距离的比值稳定保持在 5.72，表现出对结构扰动的强鲁棒性。
• 与 struc2vec 相比，SPINE 更清晰地保留了结构身份，表现为嵌入空间中镜像节点对之间欧氏距离更小。
• 所提出的基于结构相似性引导的正样本采样策略的有偏 SGNS，使得嵌入能更准确地区分局部与全局结构关系。
• SPINE 能够有效泛化到未见过的节点和网络，在归纳设置中优于直推式方法，这得益于其端到端可训练的生成器架构。