[论文解读] New Algorithms for Heavy Hitters in Data Streams

David P. Woodruff|arXiv (Cornell University)|Mar 5, 2016

Data Mining Algorithms and Applications参考文献 31被引用 6

一句话总结

本文提出了针对数据流中ℓ₁-和ℓ₂-重击者（heavy hitters）的新随机化算法，显著降低了内存使用量。通过利用高斯过程与伯努利过程、去随机化的约翰逊-林登斯特拉斯变换，以及通过尼桑伪随机生成器对哈希函数进行去随机化，作者实现了ℓ₂-重击者问题的最优O(log n)空间复杂度，优于以往需要Ω(ε⁻¹ log n)或更高空间的方法。

ABSTRACT

An old and fundamental problem in databases and data streams is that of finding the heavy hitters, also known as the top-$k$, most popular items, frequent items, elephants, or iceberg queries. There are several variants of this problem, which quantify what it means for an item to be frequent, including what are known as the $\ell_1$-heavy hitters and $\ell_2$-heavy hitters. There are a number of algorithmic solutions for these problems, starting with the work of Misra and Gries, as well as the CountMin and CountSketch data structures, among others. In this survey paper, accompanying an ICDT invited talk, we cover several recent results developed in this area, which improve upon the classical solutions to these problems. In particular, with coauthors we develop new algorithms for finding $\ell_1$-heavy hitters and $\ell_2$-heavy hitters, with significantly less memory required than what was known, and which are optimal in a number of parameter regimes.

研究动机与目标

• 为解决在最小内存使用下识别数据流中频繁项目（即'大象'）这一基本问题。
• 通过降低ℓ₁-和ℓ₂-重击者的空间复杂度，改进经典算法如Misra-Gries、Count-Min和CountSketch。
• 利用先进的概率技术与去随机化方法，设计一个在理论上正确且空间最优的ℓ₂-重击者检测算法。
• 通过最小化空间使用量并保持在对抗性数据流顺序下的强准确率保证，实现重击者算法的实际部署。

提出的方法

• 利用高斯过程对数据流中频率计数器的行为进行建模，从而以高概率准确估计项目频率。
• 使用去随机化的约翰逊-林登斯特拉斯变换，将频率向量的维度从n降低到O(log n)，同时保持协方差结构以供分析。
• 将连续的高斯变量替换为符号随机变量（伯努利过程），以避免截断问题并实现高效计算。
• 应用尼桑的伪随机生成器对算法中使用的哈希函数进行去随机化，降低空间使用量，同时保持正确性。
• 设计两阶段方法：首先学习重击者的噪声位，然后丢弃早期不可靠的位，专注于更新的后缀部分以恢复真实项目。
• 使用斯莱皮安引理比较原始与去随机化的高斯过程，确保统计特性在常数因子范围内保持不变。

实验结果

研究问题

• RQ1 能否仅使用O(log n)比特的内存空间识别ℓ₂-重击者，且该空间复杂度独立于ε和φ，对常数参数成立？
• RQ2 如何在数据流算法中有效利用高斯过程，在保持准确率的同时实现空间效率？
• RQ3 哪些去随机化技术可应用于类似CountSketch的概率数据结构，以减少空间使用而不牺牲正确性？
• RQ4 在重击者算法中，能否用伯努利过程替代高斯过程，同时保持理论保证？
• RQ5 解决ℓ₂-重击者问题所需的最小空间复杂度是多少？能否通过单遍扫描、随机化算法实现？

主要发现

• 所提出的算法实现了ℓ₂-重击者检测的最优O(log n)空间复杂度，优于以往需要Ω(ε⁻¹ log n)比特的界限。
• 使用去随机化的约翰逊-林登斯特拉斯变换，将频率向量的维度从n降低到O(log n)，实现了高效计算。
• 证明了伯努利过程足以保证算法的正确性，替代了更复杂的高斯变量，并避免了截断问题。
• 成功应用尼桑的伪随机生成器对哈希函数进行去随机化，降低了空间使用量，同时保持了算法的准确性。
• 即使初始位被污染，算法仍能通过聚焦于数据流的后缀部分，在足够更新后正确识别出重击者。
• 该框架支持新应用，例如仅使用O(log n log log n)比特即可在流的任意时刻估计第二阶矩F₂，优于先前的Θ(log²n)界限。