[论文解读] Path Sampling: A Fast and Provable Method for Estimating 4-Vertex Subgraph Counts

Madhav Jha, C. Seshadhri+1 more|arXiv (Cornell University)|Nov 18, 2014

Complex Network Analysis Techniques参考文献 30被引用 17

一句话总结

本文提出路径采样（Path Sampling），一种新颖且可证明准确的算法，通过三路径采样与方差减少的剪枝技术，高效估算大规模图中所有六种连通4-节点子图的计数。该方法在拥有3亿条边的图上实现亚分钟级运行时间，较枚举法与以往采样方法快数个数量级，同时在多种真实网络中保持相对误差低于1%。

ABSTRACT

Counting the frequency of small subgraphs is a fundamental technique in network analysis across various domains, most notably in bioinformatics and social networks. The special case of triangle counting has received much attention. Getting results for 4-vertex patterns is highly challenging, and there are few practical results known that can scale to massive sizes. Indeed, even a highly tuned enumeration code takes more than a day on a graph with millions of edges. Most previous work that runs for truly massive graphs employ clusters and massive parallelization. We provide a sampling algorithm that provably and accurately approximates the frequencies of all 4-vertex pattern subgraphs. Our algorithm is based on a novel technique of 3-path sampling and a special pruning scheme to decrease the variance in estimates. We provide theoretical proofs for the accuracy of our algorithm, and give formal bounds for the error and confidence of our estimates. We perform a detailed empirical study and show that our algorithm provides estimates within 1% relative error for all subpatterns (over a large class of test graphs), while being orders of magnitude faster than enumeration and other sampling based algorithms. Our algorithm takes less than a minute (on a single commodity machine) to process an Orkut social network with 300 million edges.

研究动机与目标

• 解决大规模真实图中所有连通4-节点子图计数缺乏可扩展且准确的方法的问题。
• 克服因边数达百万量级而导致精确枚举不可行的组合爆炸问题。
• 提出一种基于采样的方法，为所有4-节点基序提供数学上可证明的误差界与置信区间。
• 在单台通用机器上实现高准确率与高效率，避免需要集群级并行化。
• 使大规模网络（如社交网络与生物网络）中的基序分析成为可能，其中4-节点模式对网络分类与建模具有重要信息价值。

提出的方法

• 提出一种三路径采样框架，通过采样长度为3的路径来估计4-节点子图的频率。
• 引入一种新颖的剪枝方案，通过剔除冗余或低效用的路径样本以减少估计的方差。
• 利用4-节点基序的结构特性，将采样的三路径映射到特定基序类型，并赋予已知的概率权重。
• 采用随机化算法，通过集中不等式确保估计误差与置信区间的理论边界。
• 设计一种采样策略，避免全枚举或昂贵的染色编码，专注于基于路径的统计特性。
• 实现一种单机串行算法，可在无需Map-Reduce或分布式系统的情况下扩展至超过10000万条边的图。

实验结果

研究问题

• RQ1 基于采样的方法是否能在大规模图上以可证明的准确度和低误差估算所有六种连通4-节点子图计数？
• RQ2 单机算法是否能在4-节点基序计数任务中同时优于现有采样与枚举方法，在速度与准确率上均表现更优？
• RQ3 哪些剪枝技术能有效降低基于路径采样的方差，同时不引入估计偏差？
• RQ4 在大规模真实图上，三路径采样方法与染色编码、GRAFT和GUISE相比，在运行时间与准确率方面表现如何？
• RQ5 是否可能在3亿条边的图上实现4-节点基序计数的亚分钟处理时间，同时保持相对误差低于1%？

主要发现

• 三路径采样算法在涵盖Orkut（3亿条边）在内的多种真实图中，对所有4-节点基序计数的相对误差均低于1%。
• 在Orkut图上，该算法在单台普通机器上运行时间不足一分钟，而精确枚举则需超过一天。
• 在边数达100万的图上，该算法比染色编码快逾100倍，比GRAFT与GUISE快100至1000倍。
• 即使运行时间达到枚举时间的五倍，GRAFT与GUISE仍无法收敛至准确估计，相对误差超过50%。
• 染色编码的准确率高于三路径采样，但其运行速度慢100至1000倍，因此三路径采样在大规模分析中是更优的权衡选择。
• 剪枝方案显著降低了方差，使得在远少于标准路径采样方法所需样本数的情况下，仍能实现高精度估计。