[论文解读] Optimal Discrete Uniform Generation from Coin Flips, and Applications

Jérémie Lumbroso|arXiv (Cornell University)|Apr 6, 2013

Algorithms and Data Compression参考文献 15被引用 14

一句话总结

本文提出了一种从随机比特生成离散均匀随机变量的最优算法，最大限度地减少比特使用量和计算成本。通过借鉴Knuth和Yao框架的比特流方法，该算法在随机比特消耗上实现了信息论最优性，同时支持物理学和生物学中的高效蒙特卡洛模拟。

ABSTRACT

This article introduces an algorithm to draw random discrete uniform variables within a given range of size n from a source of random bits. The algorithm aims to be simple to implement and optimal both with regards to the amount of random bits consumed, and from a computational perspective---allowing for faster and more efficient Monte-Carlo simulations in computational physics and biology. I also provide a detailed analysis of the number of bits that are spent per variate, and offer some extensions and applications, in particular to the optimal random generation of permutations.

研究动机与目标

• 解决现有方法在采样离散均匀分布时浪费随机比特的低效问题。
• 设计一种实用算法，对任意范围大小n，仅消耗生成所需变量的最少随机比特数。
• 通过避免标准实现中常见的昂贵除法和取模运算，确保计算效率。
• 为需要数十亿个随机变量的高性能模拟提供信息论最优的采样方法。
• 将该方法扩展至通过使用最优比特消耗的Fisher-Yates洗牌算法实现随机排列的最优生成。

提出的方法

• 采用基于比特流的消耗模型，从无偏随机比特源中按顺序逐个读取每个随机比特。
• 实现一种递归区间搜索方法，类似于Han和Hoshi的区间算法，维护一个夹住目标概率的当前区间。
• 维护一个运行中的区间[a, b)，根据比特结果反复二分，逐步缩小至包含所需均匀随机变量的子区间。
• 当区间足够小时，可唯一确定[0, n)中的整数，从而终止，确保完全均匀性。
• 使用位级操作并缓冲32位整数，以最小化开销，同时保持最优的比特使用。
• 将同一框架应用于通过Lehmer码生成排列，将生成的均匀随机变量作为Fisher-Yates洗牌的输入。

实验结果

研究问题

• RQ1 生成大小为n的离散均匀随机变量，所需的最少随机比特数是多少？
• RQ2 能否设计一种算法，在保持计算高效的同时达到这一理论最小值？
• RQ3 与使用32位整数的标准方法相比，基于比特流的采样在整体效率和性能上如何？
• RQ4 该最优采样框架能否扩展至实现信息论最优的随机排列生成？
• RQ5 无放回采样的比特复杂度是多少？能否通过该方法加以改进？

主要发现

• 所提出的算法在随机比特使用上实现了信息论最优性，消耗的比特数恰好等于任何n所需的最小期望值。
• 通过位级操作和32位字缓冲，该算法避免了昂贵的除法和取模运算。
• 对于小的n值，与基于截断的方法相比，该算法显著降低了拒绝率，尤其当n不是2的幂时。
• 通过将均匀随机变量作为输入用于Fisher-Yates洗牌，该方法实现了随机排列的最优生成，兼具比特效率和时间效率。
• 该算法在不同字长下表现稳健，支持n=12（32位）、n=21（64位）和n=33（128位）寄存器的排列生成。
• 该框架为分析其他采样方法（如别名法和无放回采样）的比特复杂度提供了基础。