[论文解读] Network Representation Learning: A Survey

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Dec 4, 2017

Complex Network Analysis Techniques参考文献 105被引用 46

一句话总结

本综述提供了网络表示学习（NRL）方法的全面分类与分析，根据学习机制、保留的网络信息以及算法设计对方法进行分类。评估了基准数据集、开源工具及各类算法的实证性能，结果表明基于随机梯度下降的方法（例如，node2vec）在可扩展性方面显著优于基于矩阵分解的方法，而深度学习与异质网络方法虽展现出强大潜力，但面临可扩展性与鲁棒性挑战。

ABSTRACT

With the widespread use of information technologies, information networks are becoming increasingly popular to capture complex relationships across various disciplines, such as social networks, citation networks, telecommunication networks, and biological networks. Analyzing these networks sheds light on different aspects of social life such as the structure of societies, information diffusion, and communication patterns. In reality, however, the large scale of information networks often makes network analytic tasks computationally expensive or intractable. Network representation learning has been recently proposed as a new learning paradigm to embed network vertices into a low-dimensional vector space, by preserving network topology structure, vertex content, and other side information. This facilitates the original network to be easily handled in the new vector space for further analysis. In this survey, we perform a comprehensive review of the current literature on network representation learning in the data mining and machine learning field. We propose new taxonomies to categorize and summarize the state-of-the-art network representation learning techniques according to the underlying learning mechanisms, the network information intended to preserve, as well as the algorithmic designs and methodologies. We summarize evaluation protocols used for validating network representation learning including published benchmark datasets, evaluation methods, and open source algorithms. We also perform empirical studies to compare the performance of representative algorithms on common datasets, and analyze their computational complexity. Finally, we suggest promising research directions to facilitate future study.

研究动机与目标

• 基于学习机制、保留的网络信息及算法设计，系统性地构建网络表示学习（NRL）技术的分类体系。
• 回顾并对比无监督与半监督设置下的前沿NRL算法，突出其优势与局限性。
• 总结标准化的评估协议，包括基准数据集、评估指标及开源实现。
• 在常见数据集上对代表性NRL算法的性能与计算复杂度进行实证比较。
• 识别并讨论新兴研究方向，包括可扩展性、异质性、符号网络以及对噪声的鲁棒性。

提出的方法

• 提出一种新颖的分类体系，将NRL方法划分为无监督与半监督设置，并进一步按信息源与算法方法细分。
• 基于底层机制对方法进行分类：基于随机游走的方法（如DeepWalk、node2vec）、基于矩阵分解的方法（如LINE、SDNE）以及基于深度学习的方法（如GCN、VGAE）。
• 回顾边建模与节点邻近性保持技术，包括使用负采样的跳字模型以学习局部与全局结构模式。
• 分析计算复杂度，表明基于随机梯度下降的方法在可扩展性上优于基于特征分解的矩阵分解方法。
• 评估鲁棒性技术，如对抗性训练（ANE、ARGA）与不确定性感知嵌入（URGE），用于处理噪声或概率性网络。
• 研究使用元路径与元结构的异质信息网络（HIN）嵌入，以建模多种实体类型之间的复杂语义关系。

实验结果

研究问题

• RQ1 如何基于学习机制、保留的信息及算法设计，系统性地对网络表示学习方法进行分类？
• RQ2 在标准基准数据集上，主要NRL算法之间的相对性能与计算效率权衡如何？
• RQ3 不同NRL方法如何处理节点属性、网络结构以及节点内容或边类型等辅助信息？
• RQ4 将NRL方法扩展至包含数百万甚至数十亿个节点的大规模网络时，面临哪些关键挑战？
• RQ5 在提升鲁棒性、处理异质网络以及建模符号关系方面，存在哪些有前景的研究方向？

主要发现

• 基于随机梯度下降的方法（如node2vec与DeepWalk）在可扩展性方面显著优于基于矩阵分解的方法（如LINE与SDNE），后者依赖于昂贵的特征分解计算。
• 基于矩阵分解的方法在保持社区结构及整合节点属性方面表现优异，但在大规模网络上计算成本过高。
• 基于深度学习的方法（如GCN与VGAE）可有效建模网络中的非线性关系，但通常需要大量计算资源，且在缺乏架构优化时可扩展性较差。
• 利用元路径的异质信息网络（HIN）嵌入可实现跨多种实体类型的语义邻近性学习，但该领域仍处于早期阶段，标准化程度有限。
• 鲁棒性技术如ANE与URGE可提升在噪声与边不确定性条件下的表示稳定性，表明对抗性与概率正则化对现实世界中的噪声网络具有显著效果。
• 实证评估证实，基于随机游走的方法在节点分类与链接预测等下游任务中，无论在速度还是性能方面，普遍优于基于矩阵分解的方法。