[论文解读] Sampling Polya-Gamma random variates: alternate and approximate techniques

Jesse Windle, Nicholas G. Polson+1 more|arXiv (Cornell University)|May 2, 2014

Bayesian Methods and Mixture Models参考文献 15被引用 18

一句话总结

该论文提出了针对Pólya-Gamma分布的高效采样技术，特别是针对$J^*(b,z)$分布，为整数$b \in [1,4]$引入了一种替代直接采样方法，并为大$b$值提出了一个鞍点近似方法。结果表明，对于$n=3$至$10$，该替代采样器优于标准的Devroye方法；而对于$n \geq 13$，鞍点方法最为高效，相较于基线方法最高可实现6.78倍的速度提升。

ABSTRACT

Efficiently sampling from the Pólya-Gamma distribution, ${PG}(b,z)$, is an essential element of Pólya-Gamma data augmentation. Polson et. al (2013) show how to efficiently sample from the ${PG}(1,z)$ distribution. We build two new samplers that offer improved performance when sampling from the ${PG}(b,z)$ distribution and $b$ is not unity.

研究动机与目标

• 通过改进当$b \neq 1$时$\text{PG}(b,z)$的采样效率，解决Pólya-Gamma数据增强中的计算瓶颈。
• 为$J^*(n,z)$设计一种直接采样器，其中整数$n \in [1,4]$，以避免对$n$个独立的$J^*(1,z)$变量子求和。
• 为大$b$值提出一种鞍点近似方法，以在精确方法不可行时实现实时采样。
• 提出一种混合采样策略，根据$n$和$z$选择最优方法，以最大化采样效率。
• 在一系列$n$和$z$值范围内对多种采样策略进行基准测试与比较，以识别性能权衡。

提出的方法

• 利用$J^*(b,z)$的无限卷积表示形式，将其表示为缩放后的独立伽马变量子之和，其中缩放因子为$d_n^{-1}$，且$d_n = \frac{\pi^2}{2}(n+\frac{1}{2})^2 + \frac{z^2}{2}$，从而为$J^*(n,z)$引入一种替代采样器。
• 通过利用$J^*$分布的无限可分性与稳定下取整子过程的性质，为$n \in \{1,2,3,4\}$的$J^*(n,z)$构建直接采样器。
• 通过匹配累积量生成函数并利用鞍点方程$\psi'(t^*) = x$来近似密度，为$J^*(b,z)$开发鞍点近似方法。
• 利用矩生成函数$M(t;b,z) = \prod_{n=0}^\infty \left(1 - \frac{t}{d_n}\right)^{-b}$推导鞍点近似，并从近似密度中进行采样。
• 实现一种混合采样策略：对$n=1,2$采用Devroye方法，对$n \in \{3,\dots,12\}$采用替代方法，对$13 \leq n \leq 170$采用鞍点方法，对$n \geq 170$采用正态近似。
• 在标准笔记本电脑上，使用10,000个独立同分布的样本，针对多种$n$和$z$值对所有方法进行基准测试，测量运行时间并计算相对于Devroye方法的速度提升比。

实验结果

研究问题

• RQ1 当$b$为大于1的整数时，如何加速从$J^*(b,z)$分布中采样？
• RQ2 与对$n$个独立的$J^*(1,z)$变量子求和相比，$n \in \{3,4\}$时$J^*(n,z)$的直接采样器性能提升如何？
• RQ3 当$b$较大时，$J^*(b,z)$的鞍点近似方法在准确性和效率方面表现如何？
• RQ4 在不同$b$和$z$范围内，最优的混合采样策略是什么？
• RQ5 当伽马函数计算失败时，是否可以可靠地使用正态近似方法处理$b \geq 170$的情况？

主要发现

• 当$z=2$时，$n \in \{3,4\}$的$J^*(n,z)$替代采样器相较于Devroye方法最高可实现2.75倍的速度提升。
• 当$n=10$时，鞍点近似方法相较于Devroye方法实现了2.57倍的速度提升，且随着$n$增加，性能进一步改善。
• 对于$n \geq 13$，鞍点方法优于所有其他方法，在$n=100$、$z=10$时达到最高6.78倍的速度提升。
• 混合采样策略——即对$n=1,2$使用Devroye方法，对$n=3$至$12$使用替代方法，对$n=13$至$170$使用鞍点方法，对$n \geq 170$使用正态近似——在完整参数空间内实现了最优性能。
• 基于事实3.5（求和200个伽马变量子）的截断和方法从未优于其他方法，且始终比最优替代方案更慢。
• 速度提升比随$n$增加而上升，尽管$z$会影响最优方法的选择，但不同$z$值下的整体性能趋势保持一致。