[论文解读] Recursive Sketching For Frequency Moments

Vladimir Braverman, Rafail Ostrovsky|arXiv (Cornell University)|Nov 11, 2010

Cryptography and Data Security参考文献 29被引用 29

一句话总结

本文提出了一种新颖的递归打草稿技术，用于在数据流中估计大频率矩（Fk，k > 2），显著降低了空间复杂度。通过递归应用重元素查询器，并仅依赖4-wise独立性，该方法实现了 O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(m) · log(nm) · (log log n)⁴) 的空间复杂度，相比先前的界限几乎实现了二次改进，并消除了对全独立性或伪随机生成器的依赖。

ABSTRACT

In a ground-breaking paper, Indyk and Woodruff (STOC 05) showed how to compute $F_k$ (for $k>2$) in space complexity $O(\mbox{\em poly-log}(n,m)\cdot n^{1-\frac2k})$, which is optimal up to (large) poly-logarithmic factors in $n$ and $m$, where $m$ is the length of the stream and $n$ is the upper bound on the number of distinct elements in a stream. The best known lower bound for large moments is $Ω(\log(n)n^{1-\frac2k})$. A follow-up work of Bhuvanagiri, Ganguly, Kesh and Saha (SODA 2006) reduced the poly-logarithmic factors of Indyk and Woodruff to $O(\log^2(m)\cdot (\log n+ \log m)\cdot n^{1-{2\over k}})$. Further reduction of poly-log factors has been an elusive goal since 2006, when Indyk and Woodruff method seemed to hit a natural "barrier." Using our simple recursive sketch, we provide a different yet simple approach to obtain a $O(\log(m)\log(nm)\cdot (\log\log n)^4\cdot n^{1-{2\over k}})$ algorithm for constant $ε$ (our bound is, in fact, somewhat stronger, where the $(\log\log n)$ term can be replaced by any constant number of $\log $ iterations instead of just two or three, thus approaching $log^*n$. Our bound also works for non-constant $ε$ (for details see the body of the paper). Further, our algorithm requires only $4$-wise independence, in contrast to existing methods that use pseudo-random generators for computing large frequency moments.

研究动机与目标

• 为克服 k > 2 时频率矩估计中长期存在的'障碍'，此前的方法无法将对数因子进一步降低至2006年之后的水平。
• 开发一种新的算法框架，以实现对隐式向量（特别是大频率矩）的高效线性打草稿。
• 将 Fk 估计的空间复杂度降低至 Bhuvanagiri 等人（2006）所实现的 O(log²m · log n · n¹⁻²ᐟᵏ) 以下，接近已知的 Ω(n¹⁻²ᐟᵏ) 下界。
• 通过仅要求4-wise独立性，消除对全独立性或 Nisan 的伪随机生成器的依赖。

提出的方法

• 提出一种递归打草稿算法，仅使用重元素查询器即可计算隐式 n 维非负向量的 L1 范数的 (1±ǫ)-近似值。
• 使用 O(log n) 对两两独立的随机哈希函数 H₁,…,Hφ 将数据流划分为子流 D_j = D_{H₁…H_j}。
• 在每个子流上并行应用重元素算法（如 Count-Sketch 或 AMS 变体），以估计重元素的贡献。
• 采用递归向后计算：Y_j = 2Y_{j+1} - Σ_{i∈Ind(Q_j)} (1 - 2h_i^j) w_{Q_j}(i)，从最粗粒度层级开始。
• 利用马尔可夫不等式和集中不等式，确保在所有递归层级上误差概率不超过 0.3。
• 通过在大小递减的子流上递归应用该算法，降低整体空间复杂度，利用 F₀(D_φ) ≤ n/log¹⁰(n) 的高概率性质。

实验结果

研究问题

• RQ1 是否可以将先前工作中实现的 O(log²m · log n) 因子以下的 Fk 估计空间复杂度中的多对数开销进一步降低？
• RQ2 能否设计一种针对隐式向量（如 Fk）的线性打草稿方法，避免使用中位数或重复采样等非线性操作？
• RQ3 能否使算法仅依赖4-wise独立的哈希函数，从而消除对伪随机生成器或全独立性的需求？
• RQ4 能否利用递归结构迭代减小问题规模，从而实现接近最优的 O(n¹⁻²ᐟᵏ) 空间界限？
• RQ5 该递归打草稿框架是否可推广至频率矩以外的其他隐式向量估计问题？

主要发现

• 所提算法实现了 O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(m) · log(nm) · (log log n)⁴) 的空间复杂度，优于 Bhuvanagiri 等人所提出的 O(log²m · log(nm) · n¹⁻²ᐟᵏ)。
• 该界限可进一步优化为 O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(n) · log(n log m) · g_t(n))，其中任意常数 t 满足 g_t(n) = log(g_{t-1}(n)) 且 g_0(n) = n。
• 该算法仅需4-wise独立性，消除了对全独立性或 Nisan 的伪随机生成器的需求。
• 该方法对非恒定 ǫ 具有鲁棒性，并支持递归细化，从而在每一级降低有效问题规模。
• 空间复杂度几乎匹配已知的 Ω(log n · n¹⁻²ᐟᵏ) 下界，使上下界之间的差距几乎缩小了二次方。
• 该方法通过线性变换映射至重元素查询，提供了一种新的维度约减方法，实现了对隐式向量 L1 范数的高效估计。