[论文解读] WRS: Waiting Room Sampling for Accurate Triangle Counting in Real Graph Streams

Kijung Shin|arXiv (Cornell University)|Sep 10, 2017

Data Stream Mining Techniques被引用 4

一句话总结

本文提出等待室采样（WRS），一种单次遍历流式算法，通过在‘等待室’中优先存储最近的边，同时对其他边使用分层采样，从而在动态图中提升三角计数的准确性。WRS 利用时间局部性，将估计误差相比最先进方法降低高达 47%，并确保无偏、低方差估计，同时保持线性可扩展性。

ABSTRACT

If we cannot store all edges in a graph stream, which edges should we store to estimate the triangle count accurately? Counting triangles (i.e., cycles of length three) is a fundamental graph problem with many applications in social network analysis, web mining, anomaly detection, etc. Recently, much effort has been made to accurately estimate global and local triangle counts in streaming settings with limited space. Although existing methods use sampling techniques without considering temporal dependencies in edges, we observe temporal locality in real dynamic graphs. That is, future edges are more likely to form triangles with recent edges than with older edges. In this work, we propose a single-pass streaming algorithm called Waiting-Room Sampling (WRS) for global and local triangle counting. WRS exploits the temporal locality by always storing the most recent edges, which future edges are more likely to form triangles with, in the waiting room, while it uses reservoir sampling for the remaining edges. Our theoretical and empirical analyses show that WRS is: (a) Fast and 'any time': runs in linear time, always maintaining and updating estimates while new edges arrive, (b) Effective: yields up to 47% smaller estimation error than its best competitors, and (c) Theoretically sound: gives unbiased estimates with small variances under the temporal locality.

研究动机与目标

• 为解决在有限内存下对大规模图流中的全局和局部三角计数进行准确估计的挑战。
• 通过设计一种内存感知的采样策略，利用时间局部性——即未来边更可能与近期边形成三角形。
• 开发一种流式算法，确保在数据摄入过程中的任意时刻都能维持无偏、低方差的估计，而不仅在结束时。
• 在准确性上超越现有基于采样的三角计数方法，尤其是在真实世界的时间动态下。

提出的方法

• WRS 将内存预算划分为两部分：一个‘等待室’，用于存储最近到达的边，以及一个‘分层池’，对剩余边使用标准分层采样。
• 等待室提高了新到达边与可能形成三角形的边已在内存中的概率，从而提升采样效率。
• 通过检查等待室和分层池中所有边对是否与每条新边形成三角形，来维护全局和局部三角计数估计。
• 估计值通过采样边的三角计数的加权组合计算得出，权重来自边进入等待室或分层池的概率。
• 理论分析证明，在时间局部性假设下，WRS 产生的估计器为无偏且方差较小。
• 该方法设计为‘任意时间’（any time）机制，意味着在新边到达时持续维护并更新估计，每条边的时间复杂度为线性。

实验结果

研究问题

• RQ1 如何通过利用边到达的时间局部性来提升图流中三角计数的准确性？
• RQ2 在真实世界动态图中，一种优先处理近期边的混合采样策略是否能优于独立同分布（i.i.d.）或分层采样？
• RQ3 两层内存结构——近期边使用等待室，旧边使用分层池——是否能比现有方法产生更低的估计误差？
• RQ4 在时间局部性条件下，WRS 在多大程度上能保持无偏估计并实现低方差？
• RQ5 WRS 在不同图大小和内存预算下的时间性能扩展性如何？

主要发现

• 在 ArXiv 数据集上，WRS 相比最佳竞争方法，局部误差最大降低 47%，全局误差降低 40%，尤其受益于显著的时间局部性。
• 在处理相同图流时，WRS 发现的三角形数量最多比竞争对手多 2.9 倍，直接贡献于更高的准确性。
• 该算法的运行时间与边数呈线性关系，证实其在所有测试数据集上均具备高效性和‘任意时间’特性。
• 实验结果表明，WRS 的估计值方差更小，且更接近真实三角计数，验证了定理 1 和引理 2 关于无偏性和低方差的结论。
• 等待室机制显著提升了采样效率，尤其在 ArXiv 和 Patent 等时间局部性最明显的数据集中。
• 该方法在不同内存预算下均保持稳健，即使在低内存分配下也表现出一致的性能提升。