[论文解读] Network Representation Learning: Consolidation and Renewed Bearing

Saket Gurukar, Priyesh Vijayan+10 more|arXiv (Cornell University)|May 2, 2019

Complex Network Analysis Techniques参考文献 62被引用 9

一句话总结

本文在15个数据集上对12种无监督网络表征学习方法进行了大规模、系统的基准测试，涵盖链接预测和节点分类任务。结果表明，基于矩阵分解的方法（如MNMF和NetMF）表现优于其他方法，而经过调优的经典方法（如Laplacian Eigenmaps）可与现代方法相媲美，挑战了特定场景下方法优越性的既有假设。

ABSTRACT

Graphs are a natural abstraction for many problems where nodes represent entities and edges represent a relationship across entities. An important area of research that has emerged over the last decade is the use of graphs as a vehicle for non-linear dimensionality reduction in a manner akin to previous efforts based on manifold learning with uses for downstream database processing, machine learning and visualization. In this systematic yet comprehensive experimental survey, we benchmark several popular network representation learning methods operating on two key tasks: link prediction and node classification. We examine the performance of 12 unsupervised embedding methods on 15 datasets. To the best of our knowledge, the scale of our study -- both in terms of the number of methods and number of datasets -- is the largest to date. Our results reveal several key insights about work-to-date in this space. First, we find that certain baseline methods (task-specific heuristics, as well as classic manifold methods) that have often been dismissed or are not considered by previous efforts can compete on certain types of datasets if they are tuned appropriately. Second, we find that recent methods based on matrix factorization offer a small but relatively consistent advantage over alternative methods (e.g., random-walk based methods) from a qualitative standpoint. Specifically, we find that MNMF, a community preserving embedding method, is the most competitive method for the link prediction task. While NetMF is the most competitive baseline for node classification. Third, no single method completely outperforms other embedding methods on both node classification and link prediction tasks. We also present several drill-down analysis that reveals settings under which certain algorithms perform well (e.g., the role of neighborhood context on performance) -- guiding the end-user.

研究动机与目标

• 建立一个标准化的、大规模的基准，用于在多样化数据集和任务上评估网络表征学习方法。
• 通过使用原始代码并为所有方法（包括基线方法）进行一致的超参数调优，解决先前评估中的不一致性问题。
• 探究当经过适当调优时，经典或启发式方法是否能够与现代基于深度学习的方法相竞争。
• 识别数据集和任务特定的性能模式，为实践者提供方法选择的指导。
• 提供一个可复现的、全面的评估框架，减少先前工作中因训练集划分不一致和缺乏超参数搜索而产生的偏差。

提出的方法

• 本研究评估了12种无监督网络嵌入方法，涵盖经典方法（如Laplacian Eigenmaps、DeepWalk）和近期方法（如Node2Vec、LINE、SDNE）。
• 所有方法均使用作者提供的原始代码库进行评估，以确保公平性和可复现性。
• 性能在两个标准下游任务上进行衡量：链接预测和节点分类，采用逻辑回归并进行网格搜索超参数调优。
• 所有数据集均采用50:50的训练-测试划分，并通过多次随机打乱取平均结果，以减少数据偏差。
• 该基准包含15个真实世界数据集，涵盖社交网络、引文图和合作者网络，具有多样的规模和结构特性。
• 深入分析考察了邻域上下文、数据集密度和社区结构对方法性能的影响。

实验结果

研究问题

• RQ1 在广泛的数据集和任务范围内，哪种网络表征学习方法表现最佳？
• RQ2 当经过适当调优时，经典或启发式方法（如Laplacian Eigenmaps或特定任务启发式方法）是否能超越现代基于深度学习的方法？
• RQ3 与基于随机游走的方法（如DeepWalk、Node2Vec）相比，基于矩阵分解的方法（如NetMF、MNMF）在一致性和性能方面表现如何？
• RQ4 哪些数据集特征（如密度、社区结构、规模）会影响特定嵌入方法的性能？
• RQ5 评估协议不一致（如缺乏超参数调优、仅使用单一切分）在多大程度上导致了关于方法优越性的误导性结论？

主要发现

• MNMF在链接预测任务中表现最佳，在W-Wisconsin数据集上取得98.5的Micro-f1分数，且在所有数据集中均一致优于其他方法。
• NetMF在节点分类任务中表现最优，在DBLP合作者网络数据集上达到99.2的Micro-f1分数，显著优于大多数替代方法。
• 调优后的Laplacian Eigenmaps在Blogcatalog数据集上取得29.2的Macro-f1分数，与Node2Vec表现相当，甚至优于先前报告的结果，表明经典方法在适当调优后可与现代方法比肩。
• 基于矩阵分解的方法（如NetMF、MNMF）在大多数数据集中均展现出微小但一致的性能优势，优于基于随机游走的方法（如DeepWalk、Node2Vec）。
• 没有单一方法在链接预测和节点分类两项任务中均占主导地位；MNMF在链接预测中表现优异，而NetMF在节点分类中领先。
• SDNE和VAG等方法在YouTube和Flickr等大规模数据集上无法扩展，由于计算不可行，性能未报告。