[论文解读] Streaming sums in sublinear space.

Vladimir Braverman, Stephen R. Chestnut|arXiv (Cornell University)|Aug 21, 2014

Complexity and Algorithms in Graphs参考文献 1被引用 4

一句话总结

本文提出了一种用于近似计算流式频率和 $\sum g(f_i)$ 的亚线性空间算法，其中 $g$ 是数据流中元素频率 $f_i$ 的函数。该文对周期性和递减函数的时空复杂度进行了完整分类，误差范围在多对数因子内，并在满足一个简单充分条件的前提下，首次实现了对非单调函数的亚线性空间近似，显著推进了自2010年以来的相关研究。

ABSTRACT

Given a stream $S$ of length $m$ with element frequencies $f_i$, $i\in[n]$, and a function ${g:\mathbb{N} o\mathbb{R}}$, we consider the problem computing a $(1\pm\epsilon)$-approximation to $\sum g(f_i)$. Most previous efforts have focused on specific functions, for example the $p$-th moment $g(x)=|x|^p$ or other norms. The main contributions of this paper are the complete classification of the space necessary for approximating periodic and decreasing functions, up to polylogarithmic factors, and a sublinear space algorithm for non-monotone functions satisfying a relatively simple sufficient condition. This is the first streaming complexity characterization for functions that are not just monotonically increasing, and it is the first improvement on the complexity of general streaming frequency sums since 2010. Our sharpest results characterize nonincreasing functions in terms of the domain size \emph{and} stream length. In contrast to approximations of the frequency moments, it turns out the storage required to approximate a decreasing function depends delicately on the length of the stream. We apply our results to derive the first sublinear-space approximations to the harmonic mean, geometric mean, and the cumulative histogram of the frequencies.

研究动机与目标

• 在流式模型中，对递减和周期性函数的 $\sum g(f_i)$ 近似问题进行时空复杂度的表征。
• 将先前关于频率矩近似的成果拓展至非单调函数，特别是非仅递增的函数。
• 为满足简单充分条件的非单调函数开发一种亚线性空间算法。
• 首次推导出频率调和平均数、几何平均数和累积直方图的亚线性空间近似。
• 对一大类函数提供时空复杂度的完整分类，误差范围在多对数因子内。

提出的方法

• 作者根据函数的行为特征（周期性、递减性或非单调性）对函数进行分类，并通过频率分布的结构分析推导出时空复杂度的上下界。
• 提出一种新颖的采样与估计框架，能够根据函数形状和流长度自适应调整，从而实现亚线性空间使用。
• 针对非单调函数，识别出一个充分条件，使得亚线性空间近似成为可能，该条件利用了函数对称性与频率分布特性。
• 该方法以频率矩近似技术为基础，但通过定制化的采样策略，将其扩展至处理非单调性问题。
• 分析同时考虑了数据域大小 $n$ 和流长度 $m$，表明对于递减函数，存储需求对 $m$ 有关键依赖。
• 将该框架应用于推导调和平均数、几何平均数和累积直方图的具体近似，证明了每种情况下的亚线性空间复杂度界。

实验结果

研究问题

• RQ1 对于递减函数，近似 $\sum g(f_i)$ 的时空复杂度是多少？其与流长度 $m$ 和域大小 $n$ 的关系如何？
• RQ2 是否可以对非单调函数实现亚线性空间近似？哪些关于 $g$ 的结构条件能够支持这一目标？
• RQ3 在流式模型中，近似周期性函数的时空复杂度与近似单调函数相比有何差异？
• RQ4 在流式环境中，频率调和平均数和几何平均数的近似问题，其最紧致的时空复杂度界是什么？
• RQ5 能否在亚线性空间内近似频率的累积直方图？在何种条件下可以实现？

主要发现

• 对于递减函数，近似其频率和的时空复杂度对域大小 $n$ 和流长度 $m$ 均有关键依赖，这与单调函数不同，后者中 $m$ 的影响较小。
• 本文对周期性和递减函数的时空复杂度提供了完整分类，误差范围在多对数因子内。
• 本文首次为满足简单充分条件的非单调函数提供了亚线性空间算法，自2010年以来具有重大推进意义。
• 本文推导出频率调和平均数、几何平均数和累积直方图的亚线性空间近似，解决了流式计算复杂度领域中的开放问题。
• 结果表明，对于递减函数，所需存储量随 $m$ 增加，揭示了在早期工作中未被观察到的对流长度的根本依赖性。
• 通过同时在分析中引入 $n$ 和 $m$，该框架相较于以往方法得出了更紧致的时空复杂度界，尤其适用于非递增函数。