[论文解读] Sampling with arbitrary precision.

Luc Devroye, Claude Gravel|arXiv (Cornell University)|Feb 9, 2015

Markov Chains and Monte Carlo Methods参考文献 10被引用 7

一句话总结

本文提出了一种使用独立公平硬币生成具有任意精度的连续随机变量的方法，引入 Wasserstein $L_\infty$ 度量来衡量精度。它建立了生成连续随机变量所需期望硬币数的通用下界，并提出了在常数因子内达到该下界的算法，当以批量方式生成变量时，该常数因子可被消除。

ABSTRACT

We study the problem of the generation of a continuous random variable when a source of independent fair coins is available. We first motivate the choice of a natural criterion for measuring accuracy, the Wasserstein $L_\infty$ metric, and then show a universal lower bound for the expected number of required fair coins as a function of the accuracy. In the case of an absolutely continuous random variable with finite differential entropy, several algorithms are presented that match the lower bound up to a constant, which can be eliminated by generating random variables in batches.

研究动机与目标

• 建立一个自然且严格的准则，用于衡量使用公平硬币生成连续随机变量的精度。
• 推导出为给定精度生成连续随机变量所需公平硬币数的通用下界。
• 设计高效的算法，使其在常数因子内达到该下界，特别是针对具有有限微分熵的绝对连续随机变量。
• 证明通过批量生成随机变量，可消除该界中常数因子的影响，从而在渐近意义上提高效率。

提出的方法

• 采用 Wasserstein $L_\infty$ 度量作为精度准则，通过衡量累积分布函数之间的上确界距离来度量精度。
• 将所需公平硬币的期望数量表述为所需精度的函数，使用 Wasserstein $L_\infty$ 度量。
• 通过使用公平硬币序列模拟逆变换抽样，构建生成连续随机变量的算法，确保在指定度量下的精度。
• 采用批量处理策略以减少渐近界中常数因子的影响，使算法在无附加开销的情况下匹配下界。
• 利用目标分布的有限微分熵来限制模拟过程的复杂度。
• 证明所提出的算法在常数因子内达到理论下界，且在批量生成的极限下该常数因子消失。

实验结果

研究问题

• RQ1 生成具有任意精度的连续随机变量，其最优期望公平硬币数是多少？
• RQ2 Wasserstein $L_\infty$ 度量在此背景下为何是衡量精度的自然且有效的准则？
• RQ3 能否构建出在常数因子内匹配硬币使用下界的算法？
• RQ4 通过批量生成随机变量，该界中的常数因子在多大程度上可以被消除？
• RQ5 目标分布的有限微分熵在多大程度上影响抽样过程的效率？

主要发现

• 使用 Wasserstein $L_\infty$ 度量，建立了生成精度为 $\varepsilon$ 的连续随机变量所需公平硬币数的通用下界。
• 对于具有有限微分熵的绝对连续随机变量，构造了在常数因子内匹配该下界的算法。
• 通过批量生成随机变量，该界中的常数因子可在渐近意义上被消除，从而在极限下实现最优效率。
• Wasserstein $L_\infty$ 度量为基于公平硬币的抽样场景下的精度衡量提供了自然且有效的准则。
• 所提出的算法在包括具有有限微分熵的分布在内的广泛分布类中，实现了最优的期望硬币使用量。
• 批量生成可消除渐近界中常数因子的影响，使该方法在极限下达到信息论最优性。