[论文解读] On Sampling from Massive Graph Streams

Nesreen K. Ahmed, Nick Duffield+2 more|arXiv (Cornell University)|Mar 7, 2017

Data Stream Mining Techniques参考文献 34被引用 9

一句话总结

本文提出图优先采样（gps），一种新颖的基于顺序的水库采样框架，用于大规模图数据流，将边采样与子图估计分离。通过使用辅助变量自适应加权边，gps 最小化了子图计数估计的方差——在仅存储极小部分边（例如，2.6亿条边的 Twitter 图仅存储 4 万条边）的情况下，三角形和楔形计数的误差低于 1%。

ABSTRACT

We propose Graph Priority Sampling (GPS), a new paradigm for order-based reservoir sampling from massive streams of graph edges. GPS provides a general way to weight edge sampling according to auxiliary and/or size variables so as to accomplish various estimation goals of graph properties. In the context of subgraph counting, we show how edge sampling weights can be chosen so as to minimize the estimation variance of counts of specified sets of subgraphs. In distinction with many prior graph sampling schemes, GPS separates the functions of edge sampling and subgraph estimation. We propose two estimation frameworks: (1) Post-Stream estimation, to allow GPS to construct a reference sample of edges to support retrospective graph queries, and (2) In-Stream estimation, to allow GPS to obtain lower variance estimates by incrementally updating the subgraph count estimates during stream processing. Unbiasedness of subgraph estimators is established through a new Martingale formulation of graph stream order sampling, which shows that subgraph estimators, written as a product of constituent edge estimators are unbiased, even when computed at different points in the stream. The separation of estimation and sampling enables significant resource savings relative to previous work. We illustrate our framework with applications to triangle and wedge counting. We perform a large-scale experimental study on real-world graphs from various domains and types. GPS achieves high accuracy with less than 1% error for triangle and wedge counting, while storing a small fraction of the graph with average update times of a few microseconds per edge. Notably, for a large Twitter graph with more than 260M edges, GPS accurately estimates triangle counts with less than 1% error, while storing only 40K edges.

研究动机与目标

• 解决在精确计算不可行的高吞吐量大规模图数据流中高效估计图属性的挑战。
• 克服先前采样方法的局限性，这些方法设计固定、缺乏对辅助信息的适应能力，或无法最小化特定子图类型的估计方差。
• 将采样过程与子图估计解耦，以实现灵活、增量式且无偏的估计，同时保持极低的内存占用。
• 提供一个通用框架，支持对图数据流中的任意子图查询进行流后处理和流内估计。

提出的方法

• 提出图优先采样（gps），一种基于优先级的水库采样方案，根据辅助变量或大小变量为边分配采样概率，以最小化子图估计器的方差。
• 引入两种估计框架：用于对参考样本进行事后查询的流后估计，以及用于处理过程中实时、低方差更新的流内估计。
• 通过新颖的鞅公式推导，证明子图估计器的无偏性，表明即使在不同流时间计算，边估计器的乘积仍保持无偏。
• 利用采样与估计的分离，降低资源使用，避免冗余计算，并支持高效的增量更新。
• 设计边采样权重，使对目标子图（如三角形、楔形）贡献更大的边获得优先权，从而最小化最终估计的整体方差。
• 将子图计数估计表述为边级估计器的乘积，显式建模方差和协方差项，以实现准确的不确定性量化。

实验结果

研究问题

• RQ1 如何设计一种采样框架，以在保持无偏性的同时，最小化大规模图数据流中子图计数的估计方差？
• RQ2 我们能否将采样过程与子图估计解耦，以提高效率，并支持事后分析与实时分析？
• RQ3 当在流的不同时间点计算时，支撑子图估计器无偏性的理论基础是什么？
• RQ4 基于辅助变量或大小变量的边采样权重如何影响子图计数估计的准确性和方差？
• RQ5 该框架在具有数十亿条边的真实图上，能在多大程度上实现可扩展性，同时保持高精度和低内存使用？

主要发现

• gps 在真实图上实现三角形和楔形计数的误差低于 1%，包括一条拥有超过 2.6 亿条边的大型 Twitter 图。
• 对于同一 Twitter 图，gps 在仅存储 40,000 条边的情况下，三角形计数误差低于 1%，展现出卓越的内存效率。
• 每条边的平均更新时间仅为数微秒，支持大规模实时处理。
• 该框架支持流后估计与流内估计，后者通过增量更新实现更低的方差。
• 理论分析证实，由于基于鞅的创新公式，即使在不同流时间计算，子图估计器仍保持无偏。
• 方差估计中的协方差项仅在子图共享边时非零，且该框架显式建模这些项，以确保准确的不确定性量化。