[论文解读] SNAP: A General Purpose Network Analysis and Graph Mining Library

Jure Leskovec, Rok Sosič|arXiv (Cornell University)|Jun 24, 2016

Complex Network Analysis Techniques参考文献 48被引用 127

一句话总结

SNAP 是一个高性能、开源的 C++ 库（带 Python 模块），用于在单台大内存机器上进行大规模网络分析和图挖掘，支持动态图和跨 8 种图类型的 200 多个函数、20 个生成器和 20 种操作方法。

ABSTRACT

Large networks are becoming a widely used abstraction for studying complex systems in a broad set of disciplines, ranging from social network analysis to molecular biology and neuroscience. Despite an increasing need to analyze and manipulate large networks, only a limited number of tools are available for this task. Here, we describe Stanford Network Analysis Platform (SNAP), a general-purpose, high-performance system that provides easy to use, high-level operations for analysis and manipulation of large networks. We present SNAP functionality, describe its implementational details, and give performance benchmarks. SNAP has been developed for single big-memory machines and it balances the trade-off between maximum performance, compact in-memory graph representation, and the ability to handle dynamic graphs where nodes and edges are being added or removed over time. SNAP can process massive networks with hundreds of millions of nodes and billions of edges. SNAP offers over 140 different graph algorithms that can efficiently manipulate large graphs, calculate structural properties, generate regular and random graphs, and handle attributes and meta-data on nodes and edges. Besides being able to handle large graphs, an additional strength of SNAP is that networks and their attributes are fully dynamic, they can be modified during the computation at low cost. SNAP is provided as an open source library in C++ as well as a module in Python. We also describe the Stanford Large Network Dataset, a set of social and information real-world networks and datasets, which we make publicly available. The collection is a complementary resource to our SNAP software and is widely used for development and benchmarking of graph analytics algorithms.

研究动机与目标

• 说明需要一个可扩展、灵活的网络分析工具，能够在单机上处理拥有数亿节点的图。
• 描述 SNAP 的架构、数据结构和实现细节，在性能、内存占用和动态图能力之间取得平衡。
• 提供全面的图生成、操作和分析方法。
• 将 SNAP 与现有单机系统进行基准比较，以展示速度和内存效率的优势。

提出的方法

• 介绍图和网络容器抽象，统一多种图类型（有向图、无向图、多重图、带属性）的接口。
• 描述一种紧凑的内存表示，使用节点哈希表及有序的邻接向量以在灵活性和速度之间取得平衡。
• 提供统一的基于迭代器的 API，使算法与容器无关，并可在不同图类型间重用。
• 通过引用计数进行内存管理，并实现将图二进制（快速）加载/保存到磁盘的能力的详细描述。
• 概述超过 140 种图算法和总计 200 多个函数，包括生成器、操作和分析。
• 基准方法学，将 SNAP 与 NetworkX 和 iGraph 在性能和内存使用方面进行比较。

实验结果

研究问题

• RQ1 SNAP 的数据结构和分层如何在单机上实现对极大图的可扩展分析？
• RQ2 SNAP 的核心能力（容器、生成器、算法）是什么，与现有工具在性能和内存效率方面相比如何？
• RQ3 在保持高性能的同时，SNAP 是否能够高效支持带有在线修改的动态图？
• RQ4 在大型网络的速度和内存使用方面，SNAP 相对于成熟库（NetworkX、iGraph）表现如何？
• RQ5 在 SNAP 中可用的社区检测、链接预测、扩散以及其他图分析的范围是怎样的？

主要发现

• SNAP 能在单机上处理拥有数亿节点和数十亿条边的网络。
• SNAP 提供超过 140 种图算法和超过 200 个函数，涵盖 8 种图/网络类型、20 个生成器和 20 种操作方法。
• 与 NetworkX 相比，SNAP 约快 1–2 个数量级，内存使用约少 50×，在相同硬件上实现更大规模或更快的分析。
• 与 iGraph 相比，SNAP 内存使用约少 3×，并且在动态图修改方面更具灵活性，某些算法根据用例可能更快或更慢。
• SNAP 的设计使在计算过程中以低成本动态修改网络成为可能，是在线或流式图工作负载的关键优势。