[论文解读] Nearly Optimal Distinct Elements and Heavy Hitters on Sliding Windows

Vladimir Braverman, Elena Grigorescu+3 more|arXiv (Cornell University)|Jan 1, 2018

Algorithms and Data Compression参考文献 4被引用 12

一句话总结

本文提出了在滑动窗口模型中估计不同元素数量和识别 ℓp-重元素的近乎最优算法，其中仅考虑最近的 n 个元素。它引入了可组合直方图——一种新型的指数直方图和光滑直方图的变体——实现了对关键项目频率和身份的高效追踪，使两种问题的空间复杂度均达到信息论下界对数因子范围内。

ABSTRACT

We study the distinct elements and l_p-heavy hitters problems in the sliding window model, where only the most recent n elements in the data stream form the underlying set. We first introduce the composable histogram, a simple twist on the exponential (Datar et al., SODA 2002) and smooth histograms (Braverman and Ostrovsky, FOCS 2007) that may be of independent interest. We then show that the composable histogram{} along with a careful combination of existing techniques to track either the identity or frequency of a few specific items suffices to obtain algorithms for both distinct elements and l_p-heavy hitters that are nearly optimal in both n and epsilon. Applying our new composable histogram framework, we provide an algorithm that outputs a (1+epsilon)-approximation to the number of distinct elements in the sliding window model and uses O{1/(epsilon^2) log n log (1/epsilon)log log n+ (1/epsilon) log^2 n} bits of space. For l_p-heavy hitters, we provide an algorithm using space O{(1/epsilon^p) log^2 n (log^2 log n+log 1/epsilon)} for 0<p <=2, improving upon the best-known algorithm for l_2-heavy hitters (Braverman et al., COCOON 2014), which has space complexity O{1/epsilon^4 log^3 n}. We also show complementing nearly optimal lower bounds of Omega ((1/epsilon) log^2 n+(1/epsilon^2) log n) for distinct elements and Omega ((1/epsilon^p) log^2 n) for l_p-heavy hitters, both tight up to O{log log n} and O{log 1/epsilon} factors.

研究动机与目标

• 为解决仅考虑最近 n 个元素的滑动窗口模型中估计不同元素数量和识别重元素这一基本问题。
• 设计空间高效的算法，对不同元素提供 (1+ǫ)-近似，对 ℓp-重元素提供 (ǫ, φ)-近似。
• 通过设计一种新型数据结构——可组合直方图，缩小现有上界与已知下界之间的差距，提升空间效率。
• 为两个问题建立近乎紧致的下界，表明所提算法在对数因子范围内为最优。

提出的方法

• 提出可组合直方图，一种改进的指数直方图，可实现滑动窗口中不同数据流的高效组合。
• 利用现有流式计算技术追踪少量候选项目的身份与频率，降低空间开销。
• 将可组合直方图与频率估计及重元素检测算法结合，确保在滑动窗口约束下保持准确性。
• 采用通信复杂性问题（如 GapHamming、AugmentedIndex）的递归嵌入方法证明下界。
• 使用放大技术将成功概率从 2/3 提升至 1−δ，仅导致空间复杂度对数级增长。
• 通过在多项式对数个实例上进行仔细的并集界分析，修正了先前工作中存在的错误，确保空间复杂度的正确性。

实验结果

研究问题

• RQ1 我们能否在滑动窗口模型中实现不同元素估计的近乎最优空间复杂度？
• RQ2 我们能否设计一种高效的 ℓp-重元素检测算法，使其在滑动窗口模型中优于先前的空间界限？
• RQ3 可组合直方图框架是否足以统一并改进现有的指数直方图与光滑直方图方法？
• RQ4 在滑动窗口模型中，不同元素与 ℓp-重元素问题的最紧致下界是什么？
• RQ5 我们能否纠正并改进文献中关于 ℓ2-重元素的先前错误空间复杂度声明，特别是针对 ℓ2-重元素？

主要发现

• 本文提出了一种不同元素估计算法，其空间复杂度为 O(1/ǫ² log n log(1/ǫ) log log n + 1/ǫ log² n)，在 log log n 和 log(1/ǫ) 因子范围内近乎最优。
• 对于 0 < p ≤ 2 的 ℓp-重元素，算法使用 O(1/ǫ^p log³ n (log log n + log(1/ǫ))) 位，优于先前 ℓ2-重元素的 O(1/ǫ⁴ log³ n) 界。
• 作者建立了不同元素问题的下界为 Ω(1/ǫ log² n + 1/ǫ² log n)，表明其算法在 ǫ 和 n 方面均为近乎最优。
• 对于 ℓp-重元素，证明了下界为 Ω(1/ǫ^p log² n)，与上界仅相差 log(1/ǫ) 因子。
• 本文纠正了先前对 ℓ2-重元素分析中的错误，将错误的 O(1/ǫ² log² n (log² log n + log(1/ǫ))) 复杂度替换为正确的 O(1/ǫ² log³ n (log log n + log(1/ǫ))) 复杂度。
• 可组合直方图框架被证明是一种通用且强大的工具，可能具有独立于本研究的潜在价值。