[论文解读] Weighted Random Sampling over Data Streams

Pavlos S. Efraimidis|arXiv (Cornell University)|Dec 1, 2010

Data Stream Mining Techniques参考文献 13被引用 7

一句话总结

本文提出两种高效算法——A-Chao 和 A-ES——用于在数据流上进行加权随机采样，支持单遍遍历实现带替换或不带替换的加权项目选择。研究证明两种方法均具有可扩展性，适用于实时应用，其中 A-Chao 优化最终包含概率，A-ES 通过基于键的选择支持有序采样。

ABSTRACT

In this work, we present a comprehensive treatment of weighted random sampling (WRS) over data streams. More precisely, we examine two natural interpretations of the item weights, describe an existing algorithm for each case ([2, 4]), discuss sampling with and without replacement and show adaptations of the algorithms for several WRS problems and evolving data streams.

研究动机与目标

• 为数据流上的加权随机采样（WRS）提供全面处理，解决替换方式、权重语义和流处理等关键设计选择。
• 在不同权重解释和采样约束下，分析并比较两种基础 WRS 算法——A-Chao 和 A-ES。
• 证明对动态演变数据流进行单遍 WRS 的可行性和高效性，解决关于任意偏差下蓄水池维护的开放问题。
• 提出一个可重用的抽象类及 Java 中的原型实现，以便集成到标准软件库中。

提出的方法

• 本文引入两种核心算法：A-Chao 采用基于键的选择方法，结合权重以确保正确的最终包含概率；A-ES 采用指数变体，模拟带替换的顺序选择。
• 区分权重的两种解释：WRS-P（最终选择概率与权重成比例）和 WRS-W（每步选择概率与权重成比例），每种解释需采用不同的算法处理方式。
• 算法针对带替换和不带替换的采样进行了调整，并通过“跳跃”技术扩展，以高效跳过大量低权重项目。
• 设计了一个抽象基类 `StreamSampler`，包含 `feedItem()` 和 `getSample()` 方法，支持在面向对象框架中可扩展地实现 WRS 算法。
• 在 Java 中开发了 A-Chao 和 A-ES 的原型实现，包含和不包含跳跃技术，并在大规模合成数据流上进行了实验评估。
• 理论分析表明，两种算法在其各自的权重语义下均能保持正确的采样分布，且与输入规模呈线性增长。

实验结果

研究问题

• RQ1 是否可以在未知数据流上单遍高效执行加权随机采样？如果是，其算法基础是什么？
• RQ2 对项目权重的不同解释——最终包含概率 vs. 每步选择概率——如何影响 WRS 算法的设计与正确性？
• RQ3 A-Chao 和 A-ES 在不同数据流大小和样本大小下的性能特征与可扩展性如何？
• RQ4 如何使用“跳跃”技术优化采样过程，以跳过低权重项目而不引入偏差？
• RQ5 能否为数据流上的 WRS 定义一种标准化、可扩展的软件接口，以支持集成到通用库中？

主要发现

• A-Chao 算法正确实现了 WRS-P，确保每个项目的最终包含概率与权重成比例，适用于需要无偏最终样本的应用。
• A-ES 算法支持 WRS-W，其中每步的选择概率与权重成比例，并可通过键实现有序采样，适用于排名广告位等应用场景。
• 两种算法均与处理项目数呈线性增长，即使在大规模数据流上也表现出高效性，实验测量结果基于 Sun Java 1.6 平台验证。
• 使用“跳跃”技术显著提升了性能，可在不改变采样分布的前提下跳过大量低权重项目。
• A-Chao 和 A-ES 的原型实现（含和不含跳跃）均表现出一致的线性时间复杂度，适合集成到标准类库中。
• 对于大规模总体，WRS-P 与 WRS-W 的区别变得可忽略，因为项目移除的影响减弱，两者均趋近于无替换的均匀采样。