[论文解读] Network Vector: Distributed Representations of Networks with Global Context

Hao Wu, Kristina Lerman|arXiv (Cornell University)|Sep 7, 2017

Advanced Graph Neural Networks参考文献 19被引用 3

一句话总结

Network Vector 是一种神经嵌入算法，通过基于随机游走的训练，同时捕捉局部邻域结构和全局网络上下文，学习节点与整个网络的联合分布式表示。与 state-of-the-art 方法如 node2vec 相比，它在节点分类、角色发现和概念类比任务中表现更优，通过显式建模网络的全局结构，在标注数据有限的情况下，Micro-F1 分数最高提升 10.3%。

ABSTRACT

We propose a neural embedding algorithm called Network Vector, which learns distributed representations of nodes and the entire networks simultaneously. By embedding networks in a low-dimensional space, the algorithm allows us to compare networks in terms of structural similarity and to solve outstanding predictive problems. Unlike alternative approaches that focus on node level features, we learn a continuous global vector that captures each node's global context by maximizing the predictive likelihood of random walk paths in the network. Our algorithm is scalable to real world graphs with many nodes. We evaluate our algorithm on datasets from diverse domains, and compare it with state-of-the-art techniques in node classification, role discovery and concept analogy tasks. The empirical results show the effectiveness and the efficiency of our algorithm.

研究动机与目标

• 解决现有网络嵌入方法仅关注局部节点邻域、未能捕捉全局网络结构的局限性。
• 开发一种可扩展的端到端算法，在低维空间中联合学习节点级与网络级表示。
• 实现网络结构相似性的定量比较，并识别结构上相似的节点或网络。
• 通过引入全局上下文，提升节点分类、角色发现和概念类比等预测任务的性能。
• 提供一个灵活的框架，可扩展以支持在网络表示学习中引入文本或非文本属性。

提出的方法

• 该算法使用随机游走生成节点序列，将每条游走视为一个“句子”，将网络视为一个“文档”。
• 它引入一个全局上下文向量，与节点嵌入联合优化，以最大化预测随机游走序列中下一个节点的可能性。
• 目标函数结合了局部节点接近性（通过 skip-gram 模型）与全局网络上下文，使用负采样实现高效训练。
• 全局上下文向量在所有节点间共享，用于捕捉整个网络的结构特性。
• 该方法可扩展至大规模真实世界网络，并支持节点级与网络级的相似性比较。
• 通过将节点替换为词语、随机游走路径替换为句子，将 Paragraph Vector 框架（Le & Mikolov, 2014）扩展至网络场景。

实验结果

研究问题

• RQ1 统一的嵌入框架能否同时表示节点与整个网络，同时保留局部与全局结构信息？
• RQ2 与仅依赖局部信息的方法相比，引入全局网络上下文在节点分类与角色发现任务中能多大程度提升性能？
• RQ3 Network Vector 在捕捉多样化网络类型之间的结构相似性方面，与 state-of-the-art 方法如 node2vec、LINE 和 DeepWalk 相比，优势有多大？
• RQ4 在不同标注数据水平下，特别是低数据场景下，该算法表现如何？
• RQ5 在何种场景下全局上下文能带来最大收益，而在何种情况下效果较弱？

主要发现

• 在所有数据集中，Network Vector 在 Macro-F1 和 Micro-F1 分数上均持续优于 node2vec，尤其在 BFS 类似随机游走采样（高 q 值）时性能提升更显著。
• 在 BlogCatalog 数据集中，当 40% 的数据被标注时，Network Vector 相较于 node2vec 实现了 10.3% 的 Micro-F1 分数提升，表明其在监督信息有限时具备强大的泛化能力。
• 在 PPI 数据集中，Network Vector 在不同 (p,q) 设置下均保持对 node2vec 的稳定性能优势，表明其对采样偏差具有鲁棒性。
• 仅使用 10% 的标注数据时，Network Vector 仍较 node2vec 实现 1.5% 的 Macro-F1 提升与 7.1% 的 Micro-F1 提升，证明其在低数据场景下的有效性。
• 当随机游走倾向于 BFS 类似探索时，性能增益最为显著，表明全局上下文在局部信息密集且结构化时最具价值。
• 该算法有效支持网络级比较，可识别结构上相似的节点（如组织网络中的管理者）以及跨不同网络的类比关系。