[论文解读] Polynomial Estimators for High Frequency Moments

Šumit Ganguly|arXiv (Cornell University)|Apr 23, 2011

Advanced Database Systems and Queries参考文献 3被引用 19

一句话总结

本文提出了一种新颖的流式算法，用于估计数据流中 p > 2 的 p 阶频率矩 Fp，实现了改进的空间复杂度 O(n^{1−2/p}ǫ⁻² log n ⋅ p² ⋅ E(p,n) / min(log n, ǫ^{4/p−2})) 位，其中 E(p,n) = (1−2/p)⁻¹(1−n⁻⁴⁽¹⁻²/ᵖ⁾)。该方法使用对经验估计应用平滑函数的低阶泰勒多项式近似，相较于先前工作将空间使用量减少了 Ω(ǫ⁻⁴/ᵖ min(log n, ǫ⁴/ᵖ⁻²)) 倍，同时保持了 O(log n) 的更新时间。

ABSTRACT

We present an algorithm for computing $F_p$, the $p$th moment of an $n$-dimensional frequency vector of a data stream, for $2 < p < \log (n) $, to within $1\pm ε$ factors, $ε\in [n^{-1/p},1]$ with high constant probability. Let $m$ be the number of stream records and $M$ be the largest magnitude of a stream update. The algorithm uses space in bits $$ O(p^2ε^{-2}n^{1-2/p}E(p,n) \log (n) \log (nmM)/\min(\log (n),ε^{4/p-2}))$$ where, $E(p,n) = (1-2/p)^{-1}(1-n^{-4(1-2/p})$. Here $E(p,n)$ is $ O(1)$ for $p = 2+Ω(1)$ and $ O(\log n)$ for $p = 2 + O(1/\log (n)$. This improves upon the space required by current algorithms \cite{iw:stoc05,bgks:soda06,ako:arxiv10,bo:arxiv10} by a factor of at least $Ω(ε^{-4/p} \min(\log (n), ε^{4/p-2}))$. The update time is $O(\log (n))$. We use a new technique for designing estimators for functions of the form $ψ(\expect{X})$, where, $X$ is a random variable and $ψ$ is a smooth function, based on a low-degree Taylor polynomial expansion of $ψ(\expect{X})$ around an estimate of $\expect{X}$.

研究动机与目标

• 设计一种用于估计频率向量的 p 阶矩 Fp（p > 2）的次线性空间流式算法。
• 在数据流模型中改进现有 Fp 估计的空间界，特别是针对 2 < p < log n 的情形。
• 以最小的空间开销和高效的更新时间，实现高概率（≥0.8）的 ǫ-近似 Fp。
• 提出一种基于平滑函数在经验矩上进行泰勒多项式展开的新估计技术。

提出的方法

• 提出一种基于 ψ(E[X]) 在 E[X] 估计值附近的低阶泰勒多项式展开的新估计器，其中 ψ 为一平滑函数。
• 使用分层的 Sketch 结构，结合成对独立的哈希函数与 Rademacher Sketch，以估计频率矩。
• 应用离散化的幂律分布 fY(y) ∝ 1/y³ 来采样高频元素，从而提升空间效率。
• 采用改进的层级映射与阈值处理策略，以分离重元素与轻元素的贡献。
• 引入函数 E(p,n) = (1−2/p)⁻¹(1−n⁻⁴⁽¹⁻²/ᵖ⁾) 作为空间复杂度的关键因子，该因子在 p = 2+Ω(1) 时为 O(1)，在 p = 2+O(1/log n) 时为 O(log n)。
• 使用切比雪夫不等式及全方差定律进行方差分解，以界定估计误差。

实验结果

研究问题

• RQ1 基于多项式的估计器是否能降低数据流中高阶频率矩估计的空间复杂度？
• RQ2 与先前基于采样的方法相比，使用泰勒多项式近似如何提升估计精度与空间效率？
• RQ3 当 2 < p < log n 时，Fp 估计在空间、更新时间与近似误差之间的最优权衡是什么？
• RQ4 与现有函数 g(p,n) 相比，新估计器 E(p,n) 在空间节省方面表现如何？
• RQ5 该算法能否在保持 O(log n) 更新时间的同时，实现优于先前工作的空间边界？

主要发现

• 该算法以至少 0.8 的概率实现 Fp 的 ǫ-近似，空间复杂度为 O(n^{1−2/p}ǫ⁻² log n ⋅ p² ⋅ E(p,n) / min(log n, ǫ^{4/p−2})) 位。
• 相较于先前算法，空间复杂度提升了 Ω(ǫ⁻⁴/ᵖ min(log n, ǫ⁴/ᵖ⁻²)) 倍，至少为 Ω(ǫ⁻⁴/ᵖ)。
• 当 p = 2 + Ω(1) 时，E(p,n) 为 O(1)，实现最优空间使用；当 p = 2 + O(1/log n) 时，E(p,n) 为 O(log n)。
• 更新时间为 O(log n)，主要由 s = O(log n) 次哈希计算主导。
• 分析表明，估计器的方差被限制在 (ǫFp/7.5)² 以内，通过切比雪夫不等式可确保集中性。
• 该算法在最优性意义上成立，其空间复杂度与当前已知的 Fp 估计下界 Ω(ǫ⁻² + n^{1−2/p}ǫ⁻²/ᵖ + n^{1−2/p} log n) 位相匹配。