[论文解读] Waddling Random Walk: Fast and Accurate Mining of Motif Statistics in Large Graphs

Guyue Han, Harish Sethu|arXiv (Cornell University)|May 31, 2016

Complex Network Analysis Techniques参考文献 33被引用 7

一句话总结

本文提出了一种名为Waddling Random Walk（WRW）的算法，这是一种快速且精确的方法，通过扩展随机游走路径的随机采样协议，用于在大规模图中估计基序统计。通过采样访问节点邻域内的子图，WRW在减少节点查询次数的同时，实现了比现有最先进方法更高的准确度和精确度，适用于受限数据访问的大规模图。

ABSTRACT

Algorithms for mining very large graphs, such as those representing online social networks, to discover the relative frequency of small subgraphs within them are of high interest to sociologists, computer scientists and marketeers alike. However, the computation of these network motif statistics via naive enumeration is infeasible for either its prohibitive computational costs or access restrictions on the full graph data. Methods to estimate the motif statistics based on random walks by sampling only a small fraction of the subgraphs in the large graph address both of these challenges. In this paper, we present a new algorithm, called the Waddling Random Walk (WRW), which estimates the concentration of motifs of any size. It derives its name from the fact that it sways a little to the left and to the right, thus also sampling nodes not directly on the path of the random walk. The WRW algorithm achieves its computational efficiency by not trying to enumerate subgraphs around the random walk but instead using a randomized protocol to sample subgraphs in the neighborhood of the nodes visited by the walk. In addition, WRW achieves significantly higher accuracy (measured by the closeness of its estimate to the correct value) and higher precision (measured by the low variance in its estimations) than the current state-of-the-art algorithms for mining subgraph statistics. We illustrate these advantages in speed, accuracy and precision using simulations on well-known and widely used graph datasets representing real networks.

研究动机与目标

• 解决在大规模图中枚举所有诱导子图以计算基序统计的计算不可行性。
• 克服对完整图数据访问受限的问题，特别是在在线社交网络中，仅能通过API获取邻居列表。
• 开发一种基于采样的方法，使用最少的节点查询，精确且高效地估计基序浓度。
• 通过提升基序频率估计的准确度和精确度，改进现有基于随机游走的估计器。
• 为在大规模真实世界网络中挖掘微观结构模式，提供一个理论基础坚实且可扩展的解决方案。

提出的方法

• WRW算法在图上执行随机游走，通过API查询每个节点的邻居。
• 它引入了一种“摇摆”机制，采样不在游走路径上的节点，从而扩展邻域覆盖范围。
• 使用随机化协议采样子图，基于节点度数和条件概率估计基序计数。
• 该方法使用加权估计器，涉及节点度数与基序形成条件概率的乘积。
• 理论分析基于马尔可夫链混合时间与集中不等式，以界定估计误差。
• 该算法为每种基序类型维护独立计数器，并通过归一化估计值来计算基序浓度。

实验结果

研究问题

• RQ1 基于随机游走的采样方法是否能在基序统计估计方面实现比现有方法更高的准确度和精确度？
• RQ2 通过“摇摆”机制将采样扩展至游走路径之外，是否能显著提升估计质量？
• RQ3 WRW算法在保持高估计保真度的前提下，能在多大程度上减少所需的节点查询次数？
• RQ4 WRW算法在基序浓度估计中的收敛性和误差界方面表现如何？
• RQ5 WRW的理论框架在多大程度上可推广以支持各种基序类型和图大小？

主要发现

• WRW在准确度方面显著优于现有最先进算法，其估计值更接近真实的基序浓度。
• 该算法表现出更高的精确度，表现为在多次运行中重复估计的方差更低。
• WRW通过高效采样访问节点邻域内的子图，显著减少了所需的节点查询次数。
• 理论分析证明，估计误差以高概率有界，其大小取决于混合时间、基序频率和置信水平。
• 在真实世界图数据集上的实验模拟证实，WRW在速度、准确度和精确度方面均表现出优越性能。
• 即使在更大的基序（最大至大小5）中，该方法仍保持良好性能，而此时朴素枚举已不可行。