[论文解读] RiWalk: Fast Structural Node Embedding via Role Identification

Xuewei Ma, Geng Qin+3 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Graph Neural Networks参考文献 26被引用 7

一句话总结

RiWalk 是一种新型的快速结构化节点嵌入框架，通过将角色识别与网络嵌入解耦，利用根核构造来保留结构依赖关系。该方法在保持最先进性能的同时，训练速度比基线方法快达10倍，并支持在多种网络间实现有效的迁移学习。

ABSTRACT

Nodes performing different functions in a network have different roles, and these roles can be gleaned from the structure of the network. Learning latent representations for the roles of nodes helps to understand the network and to transfer knowledge across networks. However, most existing structural embedding approaches suffer from high computation and space cost or rely on heuristic feature engineering. Here we propose RiWalk, a flexible paradigm for learning structural node representations. It decouples the structural embedding problem into a role identification procedure and a network embedding procedure. Through role identification, rooted kernels with structural dependencies kept are built to better integrate network embedding methods. To demonstrate the effectiveness of RiWalk, we develop two different role identification methods named RiWalk-SP and RiWalk-WL respectively and employ random walk based network embedding methods. Experiments on within-network classification tasks show that our proposed algorithms achieve comparable performance with other baselines while being an order of magnitude more efficient. Besides, we also conduct across-network role classification tasks. The results show potential of structural embeddings in transfer learning. RiWalk is also scalable, making it capable of capturing structural roles in massive networks.

研究动机与目标

• 解决现有结构化节点嵌入方法存在的计算成本过高或依赖启发式特征工程的问题。
• 实现在不同规模和拓扑结构网络之间有效迁移学习结构化角色。
• 将结构表示学习解耦为角色识别与网络嵌入两个步骤，以提升模块化与效率。
• 开发一个灵活的框架，整合图核原理与现代网络嵌入技术，以提升可扩展性与性能。
• 在包括基础设施网络与社交网络在内的多样化真实世界网络中，展示结构嵌入的鲁棒性与泛化能力。

提出的方法

• 将结构化节点嵌入分解为两个阶段：角色识别与网络嵌入，以实现模块化设计并复用现有方法。
• 通过基于锚点局部子图中上下文节点的结构角色对节点进行重标记，构建根核，以保留结构依赖关系。
• 提出两种角色识别方法：RiWalk-SP，基于邻居度相似性，用于最短路径子结构；RiWalk-WL，采用受 Weisfeiler-Lehman 核启发的邻域聚合，用于捕捉细粒度模式。
• 在重标记后的子图上应用标准的基于随机游走的网络嵌入方法（如 node2vec）以学习结构化节点表示。
• 在重标记图中使用带偏置的随机游走，以增强对结构等价节点的探索，从而提升嵌入质量。
• 利用负采样与语言模型训练，实现对最终嵌入的高效优化。

Figure 1: Two nodes $a$ and $u$ residing far apart in a network have similar local topologies but totally different context nodes. However, after the role identification procedure, they have similar context and are indirectly densely connected, thus typical network embedding methods can be directly

实验结果

研究问题

• RQ1 结合角色识别与网络嵌入的解耦框架，是否能在效率与性能上优于端到端的结构化嵌入方法？
• RQ2 通过 RiWalk 学习到的结构化节点嵌入，在不同规模与类型的网络（如基础设施网络与社交网络）之间，其泛化能力如何？
• RQ3 RiWalk-SP 与 RiWalk-WL 在准确率与计算效率方面，与 struc2vec 等最先进方法相比表现如何？
• RQ4 RiWalk 是否能有效捕捉结构洞与枢纽等结构角色？在迁移学习场景中表现如何？
• RQ5 RiWalk 在大规模网络上的可扩展性如何？其运行时间随网络规模增长的趋势如何？

主要发现

• RiWalk-SP 与 RiWalk-WL 在网络内节点分类任务中达到与最先进基线相当或更优的性能，且训练时间最快可提升10倍。
• 在 Europe:USA 与 USA:Actor 跨网络迁移任务中，RiWalk-SP 与 RiWalk-WL 显著优于基线方法，表现出对分布偏移的强鲁棒性。
• 在 Europe 网络中，RiWalk-WL 相较于 struc2vec 实现 28.7% 的性能提升；在 USA 网络中提升 17.2%。
• 在结构洞识别任务中，RiWalk-SP 与 RiWalk-WL 分别相较 struc2vec 实现 145% 与 127% 的性能增益。
• RiWalk-WL 在网络规模上表现出超线性可扩展性，时间复杂度约为 O(n^1.2)，在最大达 100 万个节点的 Erdos-Renyi 图上展现出强大的可扩展性。
• 该框架成功捕捉了多样化网络中的结构角色——包括基础设施网络（Europe、USA）与社交网络（Actor）——表明结构角色具有普遍性，不受网络类型或规模影响。

(a) Expressway network