[论文解读] sGrapp: Butterfly Approximation in Streaming Graphs

Aida Sheshbolouki, M. TAMER ÖZSU|arXiv (Cornell University)|Jan 29, 2021

Complex Network Analysis Techniques参考文献 60被引用 6

一句话总结

该论文提出sGrapp，一种基于自适应窗口的近似蝴蝶计数算法，用于二分图流数据，利用时间组织原则和跨窗口蝴蝶计数估计，实现高精度与高效率。在均匀流上，其MAPE < 0.05；在非均匀流上，MAPE < 0.14，优于现有方法在准确率与吞吐量方面的表现。

ABSTRACT

We study the fundamental problem of butterfly (i.e. (2,2)-bicliques) counting in bipartite streaming graphs. Similar to triangles in unipartite graphs, enumerating butterflies is crucial in understanding the structure of bipartite graphs. This benefits many applications where studying the cohesion in a graph shaped data is of particular interest. Examples include investigating the structure of computational graphs or input graphs to the algorithms, as well as dynamic phenomena and analytic tasks over complex real graphs. Butterfly counting is computationally expensive, and known techniques do not scale to large graphs; the problem is even harder in streaming graphs. In this paper, following a data-driven methodology, we first conduct an empirical analysis to uncover temporal organizing principles of butterflies in real streaming graphs and then we introduce an approximate adaptive window-based algorithm, sGrapp, for counting butterflies as well as its optimized version sGrapp-x. sGrapp is designed to operate efficiently and effectively over any graph stream with any temporal behavior. Experimental studies of sGrapp and sGrapp-x show superior performance in terms of both accuracy and efficiency.

研究动机与目标

• 解决大规模、动态二分图流中高效且准确的蝴蝶计数挑战。
• 通过实证分析揭示现实世界流式二分图中蝴蝶的时间组织规律。
• 设计一种流式算法，可适应任意时间分布，无需对边到达速率或顺序做先验假设。
• 在实时估计(2,2)-双团时，最小化计算开销，同时保持高精度。
• 在准确率（MAPE）与吞吐量方面，超越现有的基于采样与精确计数的方法。

提出的方法

• sGrapp采用基于时间的自适应窗口机制，动态平衡负载并减少窗口内计算开销。
• 其核心使用精确计数方法对每个窗口内的蝴蝶进行计数，以保持低计算开销。
• 该算法利用蝴蝶密化幂律估计跨窗口的蝴蝶数量，该幂律模型描述了蝴蝶密度随时间的增长规律。
• sGrapp-x是优化变体，通过改进窗口自适应与误差控制机制，提升在非均匀流上的精度。
• 该方法避免依赖采样或边投影，规避了边膨胀与结构保真度损失等问题。
• 其通过每窗口增量更新蝴蝶估计值，使用与窗口大小和时间密度成比例的公式。

实验结果

研究问题

• RQ1 现实世界流式二分图中，主导蝴蝶分布的时间模式是什么？
• RQ2 如何在具有任意时间动态特性的图流中高效近似蝴蝶计数？
• RQ3 自适应窗口策略是否能在准确率与吞吐量方面优于固定窗口或基于采样的方法？
• RQ4 蝴蝶密化幂律在多大程度上可实现跨窗口蝴蝶的准确估计？
• RQ5 不同窗口大小与自适应参数如何影响近似误差与系统性能？

主要发现

• sGrapp在时间分布接近均匀的图流上，实现了小于0.05的平均绝对百分比误差（MAPE）。
• 优化变体sGrapp-x在非均匀流上将MAPE降低至0.14以下，显著优于基线sGrapp。
• 与sGrapp相比，sGrapp-x在最密集的流中，使近似误差低于0.15的概率提升最多达30%，低于0.20的概率提升最多达25%。
• sGrapp保持高吞吐量，平均窗口延迟低于1秒，测试工作负载下总吞吐量超过每秒100,000个边。
• 该算法在准确率与效率方面均优于FLEET及其他基于采样的方法，尤其在具有密集蝴蝶模式的高速流中表现更优。
• 蝴蝶密化幂律形式化方法可实现对跨窗口蝴蝶的可靠估计，这些蝴蝶在大多数流中占总蝴蝶数的主导部分。