[论文解读] Triadic Measures on Graphs: The Power of Wedge Sampling

C. Seshadhri, Ali Pınar+1 more|Feb 23, 2012

Complex Network Analysis Techniques参考文献 28被引用 83

一句话总结

本文提出楔采样（wedge sampling）作为一种高效方法，用于近似计算三角图度量，如聚类系数和三角形计数。通过均匀随机采样楔形（长度为二的路径），该方法实现了快速、可证明准确的估计，且误差界与图的大小无关，相较于完整枚举，速度提升高达四个数量级，同时保持与精确计算几乎相同的准确性。

ABSTRACT

Graphs are used to model interactions in a variety of contexts, and there is a growing need to quickly assess the structure of a graph. Some of the most useful graph metrics, especially those measuring social cohesion, are based on triangles. Despite the importance of these triadic measures, associated algorithms can be extremely expensive. We propose a new method based on wedge sampling. This versatile technique allows for the fast and accurate approximation of all current variants of clustering coefficients and enables rapid uniform sampling of the triangles of a graph. Our methods come with provable and practical time-approximation tradeoffs for all computations. We provide extensive results that show our methods are orders of magnitude faster than the state-of-the-art, while providing nearly the accuracy of full enumeration. Our results will enable more wide-scale adoption of triadic measures for analysis of extremely large graphs, as demonstrated on several real-world examples.

研究动机与目标

• 解决在大规模图中精确计算三角度量（如聚类系数）的计算不可行性问题。
• 开发一种基于采样的方法，提供可证明的准确度保证，且计算开销最小。
• 实现在大规模图（包括社交网络和基础设施系统）中三元结构的可扩展、近实时分析。
• 在大规模图分析中，相较于现有采样方法（如 Doulion），在运行时间和准确性方面均表现更优。

提出的方法

• 从图中均匀随机采样楔形（长度为二的路径），利用每个三角形恰好包含三个闭合楔形的事实。
• 在估计全局聚类系数时，通过样本计算闭合楔形与总楔形的比例，并利用集中不等式推导误差界。
• 通过按顶点或度数分组聚合楔形统计信息，该方法可扩展至顶点级和度数级聚类系数的估计。
• 通过选择楔形并检查其是否闭合，实现三角形的均匀采样，其期望样本大小与 $3T_s/C$ 成正比。
• 通过霍夫丁型界提供理论保证，确保误差和置信水平与图的大小无关。
• 该方法设计为易于并行化，适用于分布式系统，目前正开发用于包含最多 100M 个节点和 1B 条边的图的 MapReduce 原型。

实验结果

研究问题

• RQ1 楔采样能否在大规模图中对全局、局部及度数级聚类系数提供准确且可扩展的近似？
• RQ2 与现有采样方法（如 Doulion）相比，楔采样在准确性和性能方面表现如何？
• RQ3 楔形采样数量与聚类系数估计误差之间的理论关系是什么？
• RQ4 楔采样能否以极低计算成本实现三角形的均匀采样？
• RQ5 楔采样在多大程度上可显著降低三元分析的运行时间，同时在多样化的真实世界图中保持高准确性？

主要发现

• 楔采样相较于完整枚举，速度提升高达四个数量级，同时保持与精确计算几乎相同的准确性。
• 仅需 38,000 个楔形采样，即可保证任意图的误差小于 0.1%，置信度达 99.9%。
• 该方法对基于三角形的度量（包括高比例度数比的三角形占比，如 ≥10）提供无偏估计，仅需约 500 个采样三角形即可获得准确结果。
• 在低采样率下，楔采样在运行时间和准确性方面均优于 Doulion，即使 Doulion 使用与 32K 个楔形采样相当的样本量，楔采样仍保持竞争力。
• 该方法可实现对大规模图的近实时分析，MapReduce 原型表明其适用于最多 100M 个节点和 1B 条边的图，仅需数分钟计算时间。
• 理论误差界与图的大小无关，使该方法具有高度可扩展性，适用于极端规模的图分析。