[论文解读] Sampling to estimate arbitrary subset sums

Nick Duffield, Carsten Lund+1 more|ArXiv.org|Sep 9, 2005

Data Management and Algorithms参考文献 13被引用 9

一句话总结

该论文提出了一种新颖的加权敏感、无放回抽样方法——优先抽样，能够从单一样本中无偏估计任意子集和。通过为每个项目分配优先级 $ q_i = w_i / \alpha_i $（其中 $ \alpha_i \sim \text{Uniform}(0,1) $），选取优先级最高的 $ k $ 个项目，并为每个项目分配权重估计值 $ \widehat{w}_i = \max\{w_i, \tau\} $（$ \tau $ 为第 $ (k+1)^{\text{th}} $ 个最高优先级），该方法确保了无偏估计，且估计值之间的协方差为零，同时具有接近最优的方差，在如互联网流量分析等重尾分布场景下优于以往方案。

ABSTRACT

Starting with a set of weighted items, we want to create a generic sample of a certain size that we can later use to estimate the total weight of arbitrary subsets. For this purpose, we propose priority sampling which tested on Internet data performed better than previous methods by orders of magnitude. Priority sampling is simple to define and implement: we consider a steam of items i=0,...,n-1 with weights w_i. For each item i, we generate a random number r_i in (0,1) and create a priority q_i=w_i/r_i. The sample S consists of the k highest priority items. Let t be the (k+1)th highest priority. Each sampled item i in S gets a weight estimate W_i=max{w_i,t}, while non-sampled items get weight estimate W_i=0. Magically, it turns out that the weight estimates are unbiased, that is, E[W_i]=w_i, and by linearity of expectation, we get unbiased estimators over any subset sum simply by adding the sampled weight estimates from the subset. Also, we can estimate the variance of the estimates, and surpricingly, there is no co-variance between different weight estimates W_i and W_j. We conjecture an extremely strong near-optimality; namely that for any weight sequence, there exists no specialized scheme for sampling k items with unbiased estimators that gets smaller total variance than priority sampling with k+1 items. Very recently Mario Szegedy has settled this conjecture.

研究动机与目标

• 为解决从加权项目单一样本中估计任意子集和的挑战，特别是在网络流量中常见的重尾分布中。
• 设计一种既具有加权敏感性（偏向高权重项目）又为无放回的抽样方案（避免重复选择高权重项目）。
• 确保生成的权重估计值在子集身份未知时仍保持无偏且方差低。
• 开发一种适用于实时应用（如互联网流量监控）的实际且高效的算法。

提出的方法

• 为每个项目 $ i $ 分配一个随机优先级 $ q_i = w_i / \alpha_i $，其中 $ \alpha_i \sim \text{Uniform}(0,1) $，确保权重较大的项目优先级更高。
• 选取优先级最高的 $ k $ 个项目组成样本 $ S $，并将 $ \tau $ 定义为第 $ (k+1)^{\text{th}} $ 个最高优先级。
• 为每个样本中的项目 $ i \in S $ 分配估计权重 $ \widehat{w}_i = \max\{w_i, \tau\} $，非样本项目则设 $ \widehat{w}_i = 0 $。
• 利用期望的线性性，通过求和样本中属于目标子集的项目的估计权重来估计任意子集和。
• 使用优先队列或基于缓冲区的水库抽样变体，分别实现在 $ O(\log k) $ 或 $ O(1) $ 时间内维护样本。
• 存储并维护高权重项目的阈值和集合，以在流式环境中动态调整抽样阈值。

实验结果

研究问题

• RQ1 能否设计一种加权敏感、无放回的抽样方案，使得即使在抽样时子集未知，也能实现任意子集和的无偏估计？
• RQ2 该方案与针对同一子集和估计任务的专用替代方案相比，是否实现了接近最优的方差？
• RQ3 该方法能否在流式环境中高效实现，且每个项目的计算开销极低？
• RQ4 如理论分析所示，不同项目估计权重 $ \widehat{w}_i $ 和 $ \widehat{w}_j $ 之间的协方差是否为零？
• RQ5 该方案能否适应实时流量监控中的动态或基于阈值的抽样？

主要发现

• 权重估计 $ \widehat{w}_i $ 是精确无偏的：$ \mathbb{E}[\widehat{w}_i] = w_i $，通过期望的线性性确保了子集和估计的准确性。
• 不同项目估计权重 $ \widehat{w}_i $ 与 $ \widehat{w}_j $ 之间的协方差为零，这一出人意料且强大的性质显著增强了估计的稳定性。
• 优先抽样实现了接近最优的方差：对于具有无偏估计器的 $ k $ 项抽样，没有任何专用方案能比使用 $ k+1 $ 项的优先抽样获得更低的总方差。
• 在真实世界的互联网流量分析中，该方法相比以往方案性能提升了数个数量级，尤其在重尾权重分布下表现卓越。
• 存在高效的流式变体：通过基于缓冲区的松弛方法，实现每个项目 $ O(1) $ 时间复杂度，支持实时部署。
• 该方法理论上的近似最优性猜想后来由 Szegedy 证明，确认了该方法的根本高效性。