[论文解读] Simple, Optimal Algorithms for Random Sampling Without Replacement

Daniel Ting|arXiv (Cornell University)|Apr 11, 2021

Algorithms and Data Compression参考文献 4被引用 6

一句话总结

本文提出简单且最优的无放回随机抽样算法，通过使用稀疏哈希表替代密集数组初始化，实现 O(k) 的时间与空间复杂度。引入了诸如稀疏 Fisher-Yates 和 Beta-Binomial 有序抽样等新方法，在顺序、分布式及流式处理场景中，其效率与适用性均优于经典方法。

ABSTRACT

Consider the fundamental problem of drawing a simple random sample of size k without replacement from [n] := {1, . . . , n}. Although a number of classical algorithms exist for this problem, we construct algorithms that are even simpler, easier to implement, and have optimal space and time complexity.

研究动机与目标

• 解决当 k ≪ n 时，经典 Fisher-Yates 算法与基于哈希的成员检查算法效率低下的问题，这些算法需要 O(n) 的空间与次优的时间复杂度。
• 通过哈希表仅存储数组中被修改的条目，设计稀疏表示，将空间与时间复杂度降低至 O(k)。
• 在顺序与分布式环境中实现高效抽样，包括流式数据及来自多个数据源的合并数据集。
• 通过排列生成与表示，建立统一框架，连接多种抽样方法。
• 设计适用于 n 已知但 k 未知，或数据分布在多台机器上的场景的算法。

提出的方法

• 将 Fisher-Yates 中的密集数组初始化替换为仅存储已交换索引的哈希表，从而将空间复杂度降低至 O(k)。
• 使用稀疏 Fisher-Yates 算法，通过仅对受影响的索引模拟交换，在 O(k) 时间与空间内生成随机样本。
• 将贝塔-二项方法适配为使用狄利克雷分布与多项式分布对均匀间距进行建模，实现按顺序抽样项目位置。
• 利用贝塔-二项分布对第 i 个抽样项的位置建模，表示为 X_i ~ Beta-Binomial(1, k, n-k) + 1，实现有序抽样。
• 通过使用贝塔与二项分布对每个节点在合并样本中所占项数进行建模，实现分布式抽样。
• 通过辅助均匀变量与顺序统计量，实现分布式样本的合并算法，用于计算从每个数据集中应抽取的项数。

实验结果

研究问题

• RQ1 我们能否设计一种抽样算法，在 k ≪ n 时实现最优的 O(k) 时间与空间复杂度，避免经典 Fisher-Yates 算法的 O(n) 初始化开销？
• RQ2 当 k 事先未知时，如何高效支持顺序抽样，例如在自适应抽样用于方差估计的场景中？
• RQ3 在多台机器间进行分布式随机抽样时，如何在最小通信量与最优样本大小下实现最高效的方法？
• RQ4 如何将来自多个数据集的独立随机样本合并为一个单一的简单随机样本，而无需从头开始重新计算？
• RQ5 我们能否通过基于排列生成与表示的统一框架，将多种抽样方法统一起来？

主要发现

• 稀疏 Fisher-Yates 算法通过使用哈希表仅表示被修改的数组条目，实现 O(k) 的时间与空间复杂度，消除了 O(n) 初始化的需要。
• 该算法仅需生成 k 个均匀随机变量，输出结果与经典 Fisher-Yates 完全一致，但时间与空间复杂度达到最优。
• 贝塔-二项有序抽样器通过使用贝塔-二项分布对项目位置建模，实现高效有序抽样，第 i 个项目的分布为 Beta-Binomial(i, k−i+1, n−k)+i。
• 分布式样本的合并算法利用辅助均匀变量与顺序统计量，计算从每个数据集中应抽取的项数，确保合并后为有效简单随机样本。
• 该方法可通过基于相对阈值 T₁ 与 T₂ 的二项分布计算 κ₁ 与 κ₂，实现对合并样本的高效下采样。
• 所提出的算法在实现上更简单，效率高于现有方法（如基于哈希的成员检查），后者在 k 接近 n 时的期望时间复杂度为 O(n log(n/(n−k)))。