[论文解读] Streaming Algorithms from Precision Sampling

Alexandr Andoni, Robert Krauthgamer+1 more|arXiv (Cornell University)|Nov 4, 2010

Machine Learning and Algorithms参考文献 26被引用 20

一句话总结

本文提出了一种统一框架，利用精度采样引理（PSL）设计高效的流算法，实现了对 $F_k$-矩（$k>2$）、$\Vert x\rVert_p$-范数（$p \in [1,2]$）、级联范数和 $\ell_p$-采样问题的最优空间复杂度。通过使用源自PSL的随机权重对输入向量进行缩放，并应用重头元素估计器，该方法实现了近乎最优的空间界限，且算法结构简单、可推广。

ABSTRACT

A technique introduced by Indyk and Woodruff [STOC 2005] has inspired several recent advances in data-stream algorithms. We show that a number of these results follow easily from the application of a single probabilistic method called Precision Sampling. Using this method, we obtain simple data-stream algorithms that maintain a randomized sketch of an input vector $x=(x_1,...x_n)$, which is useful for the following applications. 1) Estimating the $F_k$-moment of $x$, for $k>2$. 2) Estimating the $\ell_p$-norm of $x$, for $p\in[1,2]$, with small update time. 3) Estimating cascaded norms $\ell_p(\ell_q)$ for all $p,q>0$. 4) $\ell_1$ sampling, where the goal is to produce an element $i$ with probability (approximately) $|x_i|/\|x\|_1$. It extends to similarly defined $\ell_p$-sampling, for $p\in [1,2]$. For all these applications the algorithm is essentially the same: scale the vector x entry-wise by a well-chosen random vector, and run a heavy-hitter estimation algorithm on the resulting vector. Our sketch is a linear function of x, thereby allowing general updates to the vector x. Precision Sampling itself addresses the problem of estimating a sum $\sum_{i=1}^n a_i$ from weak estimates of each real $a_i\in[0,1]$. More precisely, the estimator first chooses a desired precision $u_i\in(0,1]$ for each $i\in[n]$, and then it receives an estimate of every $a_i$ within additive $u_i$. Its goal is to provide a good approximation to $\sum a_i$ while keeping a tab on the "approximation cost" $\sum_i (1/u_i)$. Here we refine previous work [Andoni, Krauthgamer, and Onak, FOCS 2010] which shows that as long as $\sum a_i=Ω(1)$, a good multiplicative approximation can be achieved using total precision of only $O(n\log n)$.

研究动机与目标

• 将此前基于复杂Indyk-Woodruff技术构建的广泛类数据流算法进行简化与统一。
• 为设计空间高效的数据流算法提供一种通用、模块化的方法，适用于 $F_k$-矩估计和 $\ell_p$-范数估计等基础问题。
• 通过改进精度采样引理，优化现有问题的空间界限，特别是 $F_k$-矩和 $\ell_p$-范数估计问题。
• 在采样步骤（通过PSL进行随机缩放）与重头元素估计步骤之间建立清晰分离，实现模块化设计与分析。
• 将该框架的适用范围扩展至新问题，如级联范数和 $p \in [1,2]$ 的 $\ell_p$-采样。

提出的方法

• 应用精度采样引理（PSL）为输入向量 $x$ 的每个坐标分配随机精度等级，确保在保持对 $\sum a_i$ 的良好近似的同时，最小化逆精度之和。
• 通过源自PSL的随机向量对输入向量 $x$ 进行逐元素缩放，将问题转化为在缩放后向量中估计重头元素。
• 在缩放后的向量上应用标准的重头元素估计算法（如Count-Min草图或Misra-Gries算法）来估计 $x$ 的所需函数。
• 利用草图的线性特性，支持在数据流中对向量 $x$ 进行任意符号的通用更新。
• 对PSL进行优化，使得当 $\sum a_i = \Omega(1)$ 时，总近似代价为 $O(n \log n)$，优于先前工作。
• 利用概率论证和查询复杂度下界，证明所得空间界限近乎最优。

实验结果

研究问题

• RQ1 能否将复杂Indyk-Woodruff技术在 $F_k$-矩估计中的应用，简化为更模块化、可重用的框架？
• RQ2 能否使用单一概率方法——精度采样——统一并简化跨不同问题的广泛流算法？
• RQ3 在从噪声估计中估计和时，近似精度与总代价（即 $\sum 1/u_i$）之间的最优权衡是什么？
• RQ4 该框架能否扩展以处理不仅限于 $F_k$-矩，还包括 $\ell_p$-范数、级联范数和 $\ell_p$-采样问题？
• RQ5 这些问题的最紧致空间界限是什么？能否通过简洁的线性草图方法实现？

主要发现

• 所提框架在 $k > 2$ 时对 $F_k$-矩估计实现了 $O(n^{1-2/k} \cdot \epsilon^{-2-4/k} \log^2 n)$ 的空间复杂度，优于先前的界限。
• 对于 $p \in [1,2]$ 的 $\ell_p$-范数估计，该算法实现了较短的更新时间与近乎最优的空间复杂度，且其线性草图支持通用更新。
• 该框架通过相同的底层算法结构，实现了对所有 $p,q > 0$ 的级联范数 $\ell_p(\ell_q)$ 的高效估计。
• 该方法支持 $\ell_1$-采样，并自然扩展至 $p \in [1,2]$ 的 $\ell_p$-采样，使得所选元素 $i$ 的概率约为 $|x_i| / \|x\|_1$。
• 优化后的精度采样引理确保当 $\sum a_i = \Omega(1)$ 时，总近似代价为 $O(n \log n)$，与目前已知的最佳界限一致。
• 下界分析表明，空间使用量近乎最优，对期望权重和 $w_i$ 的下界为 $\Omega(n / (\rho \epsilon) \cdot \log(n/\alpha))$，证实了该框架的紧致性。