[论文解读] Uniformly Generating Distribution Functions for Discrete Random Variables

Bruno Caprile|arXiv (Cornell University)|Nov 3, 2000

Bayesian Modeling and Causal Inference参考文献 3被引用 4

一句话总结

本文提出了一种最优算法，通过采样 (n−1)-单纯形，对具有 n 个结果的离散型随机变量的概率分布函数进行均匀生成。该方法采用反函数变换采样，并结合类似贝塔分布的边缘分布以确保均匀性，仅需 n−1 次随机抽样和常数时间的逆累积分布函数计算，实现 O(n) 时间复杂度下的最优效率。

ABSTRACT

An algorithm is presented which, with optimal efficiency, solves the problem of uniform random generation of distribution functions for an n-valued random variable.

研究动机与目标

• 解决对具有 n 个取值的离散型随机变量的概率分布函数进行均匀采样的问题。
• 避免在高维单纯形中使用朴素拒绝采样所导致的低效问题。
• 在不引入偏差或重缩放伪影的情况下，确保在 (n−1)-单纯形上实现均匀采样。
• 以最少的随机数使用量，实现最优的计算效率。
• 为概率推理和经验验证提供一种确定性且可扩展的方法。

提出的方法

• 该算法通过依次生成 x₁ 到 xₙ₋₁ 来采样 (n−1)-单纯形，其中使用与 (rⱼ − xⱼ)ⁿ⁻² 成比例的边缘分布。
• 在每一步 j，变量 xⱼ 从 [0, rⱼ] 范围内根据累积分布函数 Ψ(xⱼ) = 1 − (1 − xⱼ/rⱼ)ⁿ⁻¹ 进行抽取。
• 逆累积分布函数 Ψ⁻¹(ξ) = rⱼ[1 − (1 − ξ)¹/(ⁿ⁻¹)] 允许通过均匀随机变量高效采样。
• 剩余的概率质量直接赋值为 xₙ = rₙ，以满足总和约束 ∑xᵢ = 1。
• 该方法依赖于每个 xⱼ 的边缘分布仅依赖于剩余质量 rⱼ，而不依赖于先前的具体取值。
• 该算法恰好使用 n−1 次均匀随机数生成器调用和 n−2 次逆累积分布函数评估，两者在复杂度上均为最优。

实验结果

研究问题

• RQ1 如何对具有 n 个结果的离散型随机变量的所有可能分布函数集合进行均匀采样？
• RQ2 在 (n−1)-单纯形上，最高效地生成均匀分布点的方法是什么？
• RQ3 由于高维空间中单纯形体积呈超指数衰减，是否可以避免使用拒绝采样方法？
• RQ4 在单纯形采样过程中，每个分量 xⱼ 的正确边缘分布是什么？
• RQ5 如何高效应用反函数变换采样以实现均匀的单纯形采样？

主要发现

• 该算法实现了最优效率，仅需 n−1 次均匀随机数抽样和 n−2 次逆累积分布函数评估。
• 在步骤 j，xⱼ 的边缘分布为 ψ(xⱼ) = (n−1)/rⱼⁿ⁻¹ × (rⱼ − xⱼ)ⁿ⁻²，确保在单纯形上的均匀性。
• 累积分布函数为 Ψ(xⱼ) = 1 − (1 − xⱼ/rⱼ)ⁿ⁻¹，支持精确的逆采样。
• 逆累积分布函数为 Ψ⁻¹(ξ) = rⱼ[1 − (1 − ξ)¹/(ⁿ⁻¹)]，可高效地从均匀变量子生成 xⱼ。
• 该方法避免了拒绝采样，后者在 n 维下因单纯形体积的（超）指数衰减而变得不可行。
• 该算法在采样策略上与 n 无关，并在所有维度上保持均匀性。