[论文解读] Network Embedding: An Overview

Nino Arsov, Georgina Mirceva|arXiv (Cornell University)|Nov 26, 2019

Advanced Graph Neural Networks参考文献 18被引用 23

一句话总结

本文全面综述了网络嵌入技术，回顾了四种关键方法——谱聚类（Spectral Clustering）、DeepWalk、LINE 和 node2vec——用于学习网络中节点的低维实值表示。结果表明，node2vec 在链接预测任务中始终优于其他方法，在多个数据集上相较 LINE 的 AUC 分数最高提升达 6.5%，凸显其通过学习到的特征向量有效保留结构相似性的能力。

ABSTRACT

Networks are one of the most powerful structures for modeling problems in the real world. Downstream machine learning tasks defined on networks have the potential to solve a variety of problems. With link prediction, for instance, one can predict whether two persons will become friends on a social network. Many machine learning algorithms, however, require that each input example is a real vector. Network embedding encompasses various methods for unsupervised, and sometimes supervised, learning of feature representations of nodes and links in a network. Typically, embedding methods are based on the assumption that the similarity between nodes in the network should be reflected in the learned feature representations. In this paper, we review significant contributions to network embedding in the last decade. In particular, we look at four methods: Spectral Clustering, DeepWalk, Large-scale Information Network Embedding (LINE), and node2vec. We describe each method and list its advantages and shortcomings. In addition, we give examples of real-world machine learning problems on networks in which the embedding is critical in order to maximize the predictive performance of the machine learning task. Finally, we take a look at research trends and state-of-the art methods in the research on network embedding.

研究动机与目标

• 综述并比较主流无监督网络嵌入方法，以学习低维节点表示。
• 评估这些方法在下游机器学习任务中的性能，特别是链接预测任务。
• 识别每种方法在捕捉网络结构与相似性方面的优势与局限。
• 突出网络嵌入领域的新兴研究趋势，包括异质网络、属性网络以及结构角色保持。

提出的方法

• 利用随机游走生成节点序列，随后将其作为输入输入到 skip-gram 模型中，以学习节点嵌入。
• 在 node2vec 中采用有偏随机游走策略，以平衡对局部与全局网络结构的探索。
• 在谱聚类和 LINE 中应用矩阵分解技术，以在嵌入空间中保持邻近性和相似性。
• 通过哈达玛积（Hadamard product）、平均值以及 L1/L2 范数等操作符，组合节点特征表示以用于链接预测。
• 利用扩散小波和 struc2vec 通过结构身份与对称性，学习对网络拓扑不变的嵌入。
• 提出 metapath2vec 以处理异质网络，通过建模能捕捉不同类型节点之间语义关系的元路径。

实验结果

研究问题

• RQ1 不同网络嵌入方法在学习表示中，对网络结构与相似性的保留能力如何比较？
• RQ2 不同聚合操作符（如哈达玛积、平均值）对链接预测性能有何影响？
• RQ3 为何 node2vec 在链接预测等下游任务中优于 DeepWalk 和 LINE？
• RQ4 近期方法如何应对异质网络与属性网络中的挑战？
• RQ5 网络表示学习的关键趋势与未来方向是什么？

主要发现

• 在 Facebook 数据集上，node2vec 使用哈达玛积操作符实现了最高的 AUC 分数，达到 0.9680。
• 在 PPI 数据集上，node2vec 的 AUC 达到 0.7719，优于 DeepWalk（0.7441）和 LINE（0.7249）。
• 哈达玛积操作符在所有数据集和算法中均表现出最稳定且最高的性能。
• 在 arXiv ASTRO-PH 数据集上，node2vec 相较 DeepWalk 提升链接预测性能达 3.8%，相较 LINE 提升达 6.5%。
• 谱聚类在链接预测中表现较差，多数数据集的 AUC 分数低于 0.60，表明其可扩展性与表征能力有限。
• 近期方法如 metapath2vec 和 struc2vec 分别在异质网络与具有结构对称性的网络中实现了有效的嵌入学习。