[论文解读] Preserving Local and Global Information for Network Embedding

Yao Ma, Suhang Wang+3 more|arXiv (Cornell University)|Oct 19, 2017

Advanced Graph Neural Networks参考文献 20被引用 4

一句话总结

该论文提出 LOG，一种新颖的网络嵌入框架，通过联合建模局部结构信息与全局节点状态（如 PageRank）来提升表征学习效果。通过引入一个可学习的权重超参数 λ，将局部与全局信号相结合，LOG 在链接预测任务中持续优于当前最先进方法，表明全局信息可补充局部结构，从而提升表征质量。

ABSTRACT

Networks such as social networks, airplane networks, and citation networks are ubiquitous. The adjacency matrix is often adopted to represent a network, which is usually high dimensional and sparse. However, to apply advanced machine learning algorithms to network data, low-dimensional and continuous representations are desired. To achieve this goal, many network embedding methods have been proposed recently. The majority of existing methods facilitate the local information i.e. local connections between nodes, to learn the representations, while completely neglecting global information (or node status), which has been proven to boost numerous network mining tasks such as link prediction and social recommendation. Hence, it also has potential to advance network embedding. In this paper, we study the problem of preserving local and global information for network embedding. In particular, we introduce an approach to capture global information and propose a network embedding framework LOG, which can coherently model {\bf LO}cal and {\bf G}lobal information. Experimental results demonstrate the ability to preserve global information of the proposed framework. Further experiments are conducted to demonstrate the effectiveness of learned representations of the proposed framework.

研究动机与目标

• 解决现有网络嵌入方法仅关注局部连接性而忽略全局节点状态的局限性。
• 提出一种系统性方法，以数学方式捕捉网络中的全局信息，如节点中心性或影响力。
• 设计一个统一框架，协调整合局部与全局信息，以增强节点表征学习。
• 证明结合局部与全局信号可提升下游网络分析任务（如链接预测）的性能。

提出的方法

• 使用节点状态得分（特别是 PageRank）来建模全局信息，量化网络中每个节点的全局重要性。
• 将网络嵌入目标表述为局部接近度（如一阶与二阶接近度）与全局状态保持的加权组合。
• 引入超参数 λ，用于平衡优化目标中全局信息相对于局部结构的贡献。
• 使用随机梯度下降优化嵌入，最小化预测与实际局部及全局接近度之间的差异。
• 通过线性变换将全局状态得分映射到嵌入空间，实现与局部结构的联合优化。
• 端到端训练模型，学习低维、连续的节点表征，以同时保留局部与全局网络特性。

实验结果

研究问题

• RQ1 能否有效建模并整合全局节点状态（如 PageRank）到网络嵌入中？
• RQ2 结合局部与全局信息如何影响学习到的节点表征质量？
• RQ3 在网络表征学习中，局部与全局信息的最优平衡点是什么？
• RQ4 与纯局部方法相比，整合全局信息是否能提升下游任务（如链接预测）的性能？

主要发现

• LOG(0.3) 在两个真实世界数据集上的链接预测与 AUC 指标上均持续优于所有基线方法（包括 LINE 与 DeepWalk），其中 λ 值为 0.3。
• LOG(0)（仅使用局部信息）的性能与 LINE 相当，验证了模型在局部学习方面的能力。
• LOG 的性能随 λ 增大而提升，约在 λ = 0.3 时达到峰值，之后增益趋于平缓，表明在此设置下已充分捕获全局信息。
• 当嵌入维度超过 96 时，模型性能保持稳定，表明 128 维已足够实现收敛。
• 仅使用全局信息（GINe）的性能表现尚可，证实其作为局部结构补充信号的价值。
• 引入全局信息显著且一致地提升了链接预测的准确率与 AUC，证明了局部与全局信号具有互补性。