[论文解读] Universal Streaming of Subset Norms

Vladimir Braverman, Robert Krauthgamer+1 more|arXiv (Cornell University)|Dec 1, 2018

Semantic Web and Ontologies参考文献 46被引用 4

一句话总结

本文提出了一种通用流式算法，可在仅插入模型中，使用新定义的“重击者维数”（heavy-hitter dimension）表征的空间复杂度下，近似任意子集族 𝒮 ⊆ 2^[n] 的子集-ℓ₀-范数。关键结果是，对于 ℓ₀ 和 ℓ₁ 范数，空间复杂度的近似紧致表征为 Θ̃(HHdim(𝒮))，且与更一般的模型（如转置模型和滑动窗口模型）存在分离。

ABSTRACT

Most known algorithms in the streaming model of computation aim to approximate a single function such as an $\ell_p$-norm. In 2009, Nelson [\url{https://sublinear.info}, Open Problem 30] asked if it possible to design \emph{universal algorithms}, that simultaneously approximate multiple functions of the stream. In this paper we answer the question of Nelson for the class of \emph{subset $\ell_0$-norms} in the insertion-only frequency-vector model. Given a family of subsets $\mathcal{S}\subset 2^{[n]}$, we provide a single streaming algorithm that can $(1\pm ε)$-approximate the subset-norm for every $S\in\mathcal{S}$. Here, the subset-$\ell_p$-norm of $v\in \mathbb{R}^n$ with respect to set $S\subseteq [n]$ is the $\ell_p$-norm of vector $v_{|S}$ (which denotes restricting $v$ to $S$, by zeroing all other coordinates). Our main result is a near-tight characterization of the space complexity of every family $\mathcal{S}\subset 2^{[n]}$ of subset-$\ell_0$-norms in insertion-only streams, expressed in terms of the "heavy-hitter dimension" of $\mathcal{S}$, a new combinatorial quantity that is related to the VC-dimension of $\mathcal{S}$. In contrast, we show that the more general turnstile and sliding-window models require a much larger space usage. All these results easily extend to $\ell_1$. In addition, we design algorithms for two other subset-$\ell_p$-norm variants. These can be compared to the Priority Sampling algorithm of Duffield, Lund and Thorup [JACM 2007], which achieves additive approximation $ε\|{v}\|$ for all possible subsets ($\mathcal{S}=2^{[n]}$) in the entry-wise update model. One of our algorithms extends this algorithm to handle turnstile updates, and another one achieves multiplicative approximation given a family $\mathcal{S}$.

研究动机与目标

• 通过聚焦于子集-ℓp-范数，解决 Nelson 于 2009 年提出的关于多函数通用流式处理的开放问题。
• 刻画在仅插入模型中，对任意子集族 𝒮 的子集-ℓ₀-范数进行通用近似的空间复杂度。
• 引入并形式化“重击者维数”作为捕捉此类通用近似复杂度的组合度量。
• 在空间需求方面，建立仅插入模型与更一般流式模型（转置模型、滑动窗口模型）之间的分离。
• 将结果扩展至 ℓ₁-范数，并探讨逐元素更新与仅插入更新模型下的变体，包括与优先采样（Priority Sampling）的关联。

提出的方法

• 将向量 v ∈ ℝⁿ 关于 S ⊆ [n] 的子集-ℓp-范数定义为 v 在 S 上的限制的 ℓp-范数。
• 将集合族 𝒮 的“重击者维数”定义为：对任意输入向量 v，所有 S ∈ 𝒮 中不同重击者（幅值较大的坐标）的最大数量。
• 设计一种流式算法，维护大小为 Õ(HHdim(𝒮)) 的摘要，以在仅插入模型中对每个 S ∈ 𝒮 实现 (1±ε) 近似子集-ℓ₀-范数。
• 利用概率分析和范数比较（例如，‖v‖₂ ≤ ‖v‖_p^{1/2−1/p}）来限制尾部贡献，并通过马尔可夫不等式确保集中性。
• 证明在仅插入和逐元素模型中，ℓ₀ 和 ℓ₁ 范数的空间复杂度被 HHdim(𝒮) 紧密刻画。
• 证明该刻画在转置模型和滑动窗口模型中不成立，表明这些模型间存在严格的空间复杂度分离。

实验结果

研究问题

• RQ1 能否设计一种单一流式算法，在仅插入模型中通用近似给定子集族 𝒮 ⊆ 2^[n] 的所有子集-ℓ₀-范数？
• RQ2 𝒮 的何种组合性质决定了此类通用近似的最小空间需求？
• RQ3 在仅插入、转置和滑动窗口模型之间，通用子集-ℓp-范数近似的空间复杂度有何差异？
• RQ4 ℓ₀ 和 ℓ₁ 的结果能否推广至一般 ℓp-范数（p ≠ 0,1）？
• RQ5 所提出的算法与现有方法（如优先采样）在 ℓ₁-范数上的关系如何？是否可推广？

主要发现

• 在仅插入模型中，对子集-ℓ₀-范数进行通用流式处理的空间复杂度，由 𝒮 的重击者维数表征，仅相差对数因子。
• 对于 ℓ₁-范数，相同表征成立：在仅插入模型中，空间复杂度为 Õ(HHdim(𝒮))。
• 该表征在转置模型和滑动窗口模型中失效，这些模型需要显著更多的空间，表明模型间存在严格的空间复杂度分离。
• 对于逐元素更新，一般 ℓp-范数（p ≠ 1）的空间复杂度也由 HHdim(𝒮) 表征，且近似紧致，为 Õ(HHdim(𝒮))。
• 在仅插入和逐元素模型中，该算法使用大小为 Õ(HHdim(𝒮)) 的摘要，对所有 S ∈ 𝒮 实现 (1±ε) 乘法近似。
• 该算法的一种变体将优先采样扩展至处理转置更新，同时保持对子集 ℓ₁-范数的乘法近似。