[论文解读] Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec

Jiezhong Qiu, Yuxiao Dong+4 more|arXiv (Cornell University)|Oct 9, 2017

Advanced Graph Neural Networks参考文献 45被引用 69

一句话总结

本文表明 DeepWalk、LINE、PTE 和 node2vec 是图派生矩阵的隐式矩阵分解，并引入 NetMF，将对 DeepWalk/Laplacian 基础矩阵进行显式分解，从而提升嵌入性能。

ABSTRACT

Since the invention of word2vec, the skip-gram model has significantly advanced the research of network embedding, such as the recent emergence of the DeepWalk, LINE, PTE, and node2vec approaches. In this work, we show that all of the aforementioned models with negative sampling can be unified into the matrix factorization framework with closed forms. Our analysis and proofs reveal that: (1) DeepWalk empirically produces a low-rank transformation of a network's normalized Laplacian matrix; (2) LINE, in theory, is a special case of DeepWalk when the size of vertices' context is set to one; (3) As an extension of LINE, PTE can be viewed as the joint factorization of multiple networks' Laplacians; (4) node2vec is factorizing a matrix related to the stationary distribution and transition probability tensor of a 2nd-order random walk. We further provide the theoretical connections between skip-gram based network embedding algorithms and the theory of graph Laplacian. Finally, we present the NetMF method as well as its approximation algorithm for computing network embedding. Our method offers significant improvements over DeepWalk and LINE for conventional network mining tasks. This work lays the theoretical foundation for skip-gram based network embedding methods, leading to a better understanding of latent network representation learning.

研究动机与目标

• 澄清流行的基于跳- Gram 的网络嵌入方法与图拉普拉斯之间的理论联系。
• 推导出每种方法隐式分解的闭式矩阵。
• 提出 NetMF，对 DeepWalk/拉普拉斯启发矩阵进行显式分解并评估其性能。
• 在标准数据集上展示 NetMF 相对于 DeepWalk 和 LINE 的实证提升。

提出的方法

• 证明 DeepWalk、LINE、PTE 和 node2vec 对应于特定网络派生矩阵的隐式矩阵分解。
• 将 LINE 作为 DeepWalk 的一个特例，窗口大小 T = 1。
• 将 LINE 的分析扩展到 PTE，作为对多个子网络的联合分解。
• 用二阶随机游走对 node2vec 建模并推导其类似矩阵的分解形式。
• 引入 NetMF，通过 SVD 显式对 DeepWalk 矩阵（或其对数）进行分解，针对小窗口和大窗口大小提供两种实用方案。

实验结果

研究问题

• RQ1 DeepWalk、LINE、PTE 和 node2vec 各自潜在的精确矩阵形式是什么？
• RQ2 这些方法在理论上如何与图拉普拉斯以及网络的谱特性相关联？
• RQ3 是否可以设计一种显式矩阵分解方法（NetMF），在实际效果上达到或超过这些方法？
• RQ4 在真实网络上，显式分解（NetMF）相对于基于隐式采样的方法有哪些实证收益？

主要发现

算法	BlogCatalog Micro-F1	BlogCatalog Macro-F1	PPI Micro-F1	PPI Macro-F1	Wikipedia Micro-F1	Wikipedia Macro-F1	Flickr Micro-F1	Flickr Macro-F1
LINE (2nd)	23.64	13.91	10.94	9.04	41.77	9.72	25.18	9.32
NetMF (T = 1)	33.04	14.86	16.01	12.10	49.90	9.25	23.87	6.44
NetMF (T = 10)	38.36	22.90	18.16	14.32	46.21	8.38	29.95	13.50
DeepWalk	29.32	18.38	12.05	10.29	36.08	8.38	26.21	12.43

• 这四种方法都等价于对闭式矩阵的隐式矩阵分解。
• LINE（2nd）是在上下文窗口 T = 1 时的 DeepWalk 的一个特例。
• PTE 将 LINE 扩展为跨多个子网络的联合分解。
• 对于 node2vec，二阶游走产生与转移张量相关的分解，尽管完整的矩阵形式较为复杂。
• NetMF 对 DeepWalk/拉普拉斯启发矩阵进行显式分解，提供小 T 和大 T 的变体。
• NetMF（T=1 与 T=10）在多个数据集上对 LINE 和 DeepWalk 展现了显著提升（如 BlogCatalog、PPI、Wikipedia、Flickr）。