[论文解读] Succinct Sampling on Streams

Vladimir Braverman, Rafail Ostrovsky+1 more|ArXiv.org|Feb 25, 2007

Advanced Database Systems and Queries参考文献 47被引用 3

一句话总结

本文提出了 S³（Succinct Sampling on Streams）算法，为数据流中滑动窗口的均匀采样提供了可证明最优的最坏情况内存保证——无论是否放回采样，以及在逐个到达与突发到达两种模型下均适用。该方法实现了频率矩、三角形计数、熵估计和密度估计在滑动窗口约束下的首个内存最优解，采用一种新颖的采样技术，确保非重叠窗口间的独立性，并避免使用浮点数运算。

ABSTRACT

A streaming model is one where data items arrive over long period of time, either one item at a time or in bursts. Typical tasks include computing various statistics over a sliding window of some fixed time-horizon. What makes the streaming model interesting is that as the time progresses, old items expire and new ones arrive. One of the simplest and central tasks in this model is sampling. That is, the task of maintaining up to $k$ uniformly distributed items from a current time-window as old items expire and new ones arrive. We call sampling algorithms {\bf succinct} if they use provably optimal (up to constant factors) {\bf worst-case} memory to maintain $k$ items (either with or without replacement). We stress that in many applications structures that have {\em expected} succinct representation as the time progresses are not sufficient, as small probability events eventually happen with probability 1. Thus, in this paper we ask the following question: are Succinct Sampling on Streams (or $S^3$-algorithms)possible, and if so for what models? Perhaps somewhat surprisingly, we show that $S^3$-algorithms are possible for {\em all} variants of the problem mentioned above, i.e. both with and without replacement and both for one-at-a-time and bursty arrival models. Finally, we use $S^3$ algorithms to solve various problems in sliding windows model, including frequency moments, counting triangles, entropy and density estimations. For these problems we present \emph{first} solutions with provable worst-case memory guarantees.

研究动机与目标

• 为解决流式采样中缺乏最坏情况内存保证的问题，特别是针对旧数据过期、新数据持续到达的滑动窗口模型。
• 设计既内存最优又确定性的采样算法，避免在罕见但不可避免的边界情况下失效的期望内存方案。
• 将现有的基于采样的频率矩、三角形计数、熵和密度估计算法扩展至具有可证明内存边界的滑动窗口模型。
• 在突发到达模型中消除对浮点数运算的依赖，提升实用性和确定性。
• 确保来自非重叠窗口的样本在统计上相互独立，从而增强可重用性和查询灵活性。

提出的方法

• 提出一种新颖的采样方法，使用 $O(k)$ 内存在滑动窗口上保持大小为 $k$ 的均匀随机样本，匹配已知的下界。
• 采用类似蓄水池的结构，但通过修改选择概率以确保最坏情况下的内存边界，并保证非重叠窗口间的独立性。
• 将 S³ 框架应用于替换现有频率矩、三角形计数、熵和密度估计算法中的先前采样方法（如优先采样、蓄水池采样）。
• 将算法适配至基于序列和基于时间戳的滑动窗口模型，支持有放回与无放回采样。
• 通过使用基于整数的概率阈值，在突发到达模型中避免浮点数运算，提升确定性和效率。
• 通过使用分步偏置函数组合来自不同长度窗口的样本，支持动态环境下的非均匀采样。

实验结果

研究问题

• RQ1 我们能否设计出在滑动窗口上具有可证明最优最坏情况内存使用量的流式采样算法？
• RQ2 在逐个到达模型中，是否可能同时实现内存最优性与非重叠窗口间样本的独立性？
• RQ3 我们能否在保持采样正确性和内存效率的前提下，消除突发到达模型中的浮点数运算？
• RQ4 S³ 是否可用于构建滑动窗口环境下频率矩、三角形计数和熵估计的首个内存最优算法？
• RQ5 S³ 是否可扩展以支持动态流式环境中其他非均匀分布的加权采样？

主要发现

• 本文首次提出具有上下界匹配的 $S^3$ 算法，在有放回或无放回采样中均实现最优的 $O(k)$ 内存使用。
• 对于频率矩，该方法实现了所有 $k>2$ 的 $\tilde{O}(m^{1-1/k})$-bit 内存算法，优于先前基于采样的方法。
• 对于频率矩，获得了一个 $\tilde{O}(m^{1-2/k})$-bit 算法，与目前已知的最佳边界一致，但存在 $k^k$ 的乘法开销，限制了大 $k$ 值下的实用性。
• 对于三角形计数，该方法在基于序列的窗口中实现了 $(\epsilon,\delta)$-近似算法，内存使用为 $O(1 + \frac{\log|E_W|}{|E_W|} \cdot \frac{1}{\epsilon^2} \cdot \frac{|T_1| + 2|T_2| + 3|T_3|}{|T_3|} \log \frac{2}{\delta})$，在基于时间戳的窗口中多出 $\log n$ 因子。
• 对于熵估计，该方法实现了 $O(\epsilon^{-2} \log \delta^{-1} \log n)$ 内存，优于先前缺乏滑动窗口最坏情况保证的方法。
• S³ 框架通过将先前的采样原 primitive 替换为 $S^3$，首次实现了滑动窗口模型下密度估计和加权采样的内存最优解。