[论文解读] Stream Sampling for Frequency Cap Statistics

Edith Cohen|arXiv (Cornell University)|Feb 20, 2015

Advanced Database Systems and Queries参考文献 23被引用 4

一句话总结

本文提出了一种流采样框架，用于在仅进行单次或两次遍历、且状态空间与所需样本大小成比例的情况下，对未聚合数据中的频率上限统计量（如去重计数和求和）进行估计。该框架引入了ℓ-上限采样，可为单调频率统计量提供近乎最优且无偏的估计，统一了经典去重与求和方法，并支持具有紧密误差边界的多目标采样。

ABSTRACT

Unaggregated data, in streamed or distributed form, is prevalent and come from diverse application domains which include interactions of users with web services and IP traffic. Data elements have {\em keys} (cookies, users, queries) and elements with different keys interleave. Analytics on such data typically utilizes statistics stated in terms of the frequencies of keys. The two most common statistics are {\em distinct}, which is the number of active keys in a specified segment, and {\em sum}, which is the sum of the frequencies of keys in the segment. Both are special cases of {\em cap} statistics, defined as the sum of frequencies {\em capped} by a parameter $T$, which are popular in online advertising platforms. Aggregation by key, however, is costly, requiring state proportional to the number of distinct keys, and therefore we are interested in estimating these statistics or more generally, sampling the data, without aggregation. We present a sampling framework for unaggregated data that uses a single pass (for streams) or two passes (for distributed data) and state proportional to the desired sample size. Our design provides the first effective solution for general frequency cap statistics. Our $\ell$-capped samples provide estimates with tight statistical guarantees for cap statistics with $T=Θ(\ell)$ and nonnegative unbiased estimates of {\em any} monotone non-decreasing frequency statistics. An added benefit of our unified design is facilitating {\em multi-objective samples}, which provide estimates with statistical guarantees for a specified set of different statistics, using a single, smaller sample.

研究动机与目标

• 解决在有限内存下，对高基数、未聚合数据流中的频率上限统计量进行高效估计的挑战。
• 设计一种采样方法，近似黄金标准加权样本，而无需对键频率进行完整聚合。
• 在单一原则化框架下统一现有针对去重计数和求和查询的解决方案。
• 实现多目标采样，使用单一紧凑样本为多个统计量提供紧密估计。
• 在保持空间效率的同时最小化估计误差，尤其针对在线广告中常见的中等范围上限参数。

提出的方法

• 该框架使用ℓ-上限采样，其中每个键以与f(w)成比例的概率被包含，其中f为单调非减函数，例如cap_T(w) = min(w, T)。
• 它通过单次遍历（流式处理）或两次遍历（分布式处理）处理数据，仅将状态大小与所需样本大小k成比例。
• 该方法支持有放回和无放回采样，可实现频率上限统计量的无偏估计。
• 它采用一种新颖的采样概率分配机制，可自适应频率分布，确保中等范围上限下的近似最优方差。
• 通过在单一样本中联合优化多个目标统计量的采样概率，该设计支持多目标采样。
• 它提供了对变异系数（CV）的理论误差边界，与在聚合数据上理想加权样本的边界非常接近。

实验结果

研究问题

• RQ1 我们能否在不进行完整聚合的情况下，准确估计未聚合数据流中的频率上限统计量？
• RQ2 如何设计一种采样框架，使单一高效机制能够统一去重计数与求和估计？
• RQ3 在不进行聚合的情况下计算的样本，其相对于聚合数据上最优加权样本的可实现精度如何？
• RQ4 该框架在不同上限参数T和频率分布下的表现如何？
• RQ5 单一采样能否同时为多个统计量提供紧密估计？

主要发现

• ℓ-上限采样框架在频率上限统计量上实现了近乎最优的估计误差，其CV边界接近于在聚合数据上黄金标准样本的边界。
• 对于中等范围上限（T = Θ(ℓ)），该方法的估计接近理论最优，显著优于单目标采样。
• 使用ℓ=1估计去重计数（T=1）时，误差在最优值的3倍以内；使用ℓ=∞估计求和（T=∞）时，最坏情况下的误差在最优值的30倍以内。
• 在分布式环境中，第二次遍历的收益有限——通常误差改善不足10%，证实了流式版本的鲁棒性。
• 模拟结果表明，对于较高上限值，实际误差通常远低于理论CV上界，提示存在自适应置信区间边界的潜力。
• 该框架通过单一采样实现了多目标采样，可在多个统计量上提供紧密估计，从而减少了对多个大样本的需求。