[论文解读] The Randomness Recycler: A new technique for perfect sampling

James Allen Fill, Mark Huber|ArXiv.org|Sep 29, 2000

Markov Chains and Monte Carlo Methods参考文献 6被引用 7

一句话总结

该论文提出了一种名为随机性回收器（Randomness Recycler, RR）的新颖精确抽样技术，该技术绕过传统的马尔可夫链，直接从复杂分布中生成精确样本。与基于马尔可夫链的方法不同，RR 具备可中断性、仅读一次（read-once）特性，并在特定问题（如独立集、图着色和伊辛模型）下实现期望线性时间复杂度，前提是参数条件受限。

ABSTRACT

For many probability distributions of interest, it is quite difficult to obtain samples efficiently. Often, Markov chains are employed to obtain approximately random samples from these distributions. The primary drawback to traditional Markov chain methods is that the mixing time of the chain is usually unknown, which makes it impossible to determine how close the output samples are to having the target distribution. Here we present a new protocol, the randomness recycler (RR), that overcomes this difficulty. Unlike classical Markov chain approaches, an RR-based algorithm creates samples drawn exactly from the desired distribution. Other perfect sampling methods such as coupling from the past use existing Markov chains, but RR does not use the traditional Markov chain at all. While by no means universally useful, RR does apply to a wide variety of problems. In restricted instances of certain problems, it gives the first expected linear time algorithms for generating samples. Here we apply RR to self-organizing lists, the Ising model, random independent sets, random colorings, and the random cluster model.

研究动机与目标

• 为解决马尔可夫链蒙特卡洛（MCMC）方法的局限性，这些方法产生近似样本且需要未知的混合时间。
• 克服现有精确抽样方法（如耦合从过去，CFTP）的缺点，这些方法不可中断且需要存储随机位。
• 开发一种新的抽样框架，消除对马尔可夫链的依赖，同时确保从目标分布中生成精确样本。
• 在先前方法较慢或缺乏理论界 bound 的特定问题中，实现期望线性时间性能。
• 为硬组合优化和统计物理问题提供一种实用、可中断且内存高效的精确抽样技术替代方案。

提出的方法

• RR 方法通过从较小子图或初始状态逐步构建所需样本，而非模拟马尔可夫链。
• 在每一步中，根据保持正确条件分布的递归过程，添加或移除顶点或元素。
• 该算法采用递归抽样策略，每个新元素根据其对目标分布的贡献被接受或拒绝，从而在每个阶段都保证正确性。
• 该方法依赖于“仅读一次”特性：随机位按顺序消耗，从不存储或重读，从而实现可中断性。
• 对于独立集和着色等问题，RR 方法基于局部结构和逸度参数，对状态空间进行递归分解。
• 通过递归论证证明了方法的正确性，表明每个部分样本都服从目标测度的条件分布。

实验结果

研究问题

• RQ1 能否设计一种精确抽样方法，避免使用马尔可夫链，同时仍能保证从复杂分布中生成精确样本？
• RQ2 是否可能在不依赖混合时间假设的前提下，实现随机独立集和着色等问题的期望线性时间抽样？
• RQ3 能否设计一种既可中断又仅读一次的精确抽样算法，从而消除对随机位存储的需求，并支持时间受限的实用执行？
• RQ4 在哪些分布类别和参数范围内，RR 方法在运行时间上优于现有的基于马尔可夫链的方法？
• RQ5 与耦合从过去（CFTP）及其他精确抽样技术相比，RR 方法的理论和实证性能边界是什么？

主要发现

• 对于逸度 λ < 4/(3Δ − 4) 的硬核气体模型，RR 方法实现了期望线性时间抽样，这是该问题的首个此类结果。
• RR 方法是首个在受限参数范围内实现期望线性运行时间的随机独立集和正规着色问题的精确抽样算法。
• 对于随机簇模型，RR 方法在一定 p 值范围内可保证期望线性时间运行，而基于马尔可夫链的方法缺乏已知的多项式界。
• 实验表明，RR 方法在自组织列表的 Move Ahead 1（MA1）规则下优于耦合从过去（CFTP），展现出更优的实际性能。
• RR 方法具备可中断性和仅读一次特性，避免了某些其他精确抽样算法（如 FMMR）所需的随机位存储。
• 理论分析证实，RR 打破了基于马尔可夫链抽样中常见的 O(n ln n) 时间瓶颈，为特定问题类提供了更快精确抽样的新路径。