[论文解读] Stochastic Bouncy Particle Sampler

Ari Pakman, Dar Gilboa+2 more|arXiv (Cornell University)|Sep 3, 2016

Markov Chains and Monte Carlo Methods参考文献 37被引用 11

一句话总结

该论文提出了随机弹跳粒子采样器（Stochastic Bouncy Particle Sampler, SBPS），一种无需拒绝的非可逆MCMC算法，利用小批量数据的噪声梯度估计，在大规模数据场景下高效地从贝叶斯后验分布中进行采样。SBPS通过引入可控的小偏差，显著提升了混合速度并降低了方差，其性能优于现有基于子采样的方法，且无需针对具体问题设定边界或进行参数调优。

ABSTRACT

We introduce a novel stochastic version of the non-reversible, rejection-free Bouncy Particle Sampler (BPS), a Markov process whose sample trajectories are piecewise linear. The algorithm is based on simulating first arrival times in a doubly stochastic Poisson process using the thinning method, and allows efficient sampling of Bayesian posteriors in big datasets. We prove that in the BPS no bias is introduced by noisy evaluations of the log-likelihood gradient. On the other hand, we argue that efficiency considerations favor a small, controllable bias in the construction of the thinning proposals, in exchange for faster mixing. We introduce a simple regression-based proposal intensity for the thinning method that controls this trade-off. We illustrate the algorithm in several examples in which it outperforms both unbiased, but slowly mixing stochastic versions of BPS, as well as biased stochastic gradient-based samplers.

研究动机与目标

• 为解决大规模数据中MCMC的计算瓶颈，开发一种可扩展的、无需拒绝的采样方法。
• 利用对数似然梯度的噪声性、小批量估计，实现从贝叶斯后验分布中的高效采样。
• 在随机MCMC算法中引入偏差与混合效率之间的可控权衡。
• 证明SBPS在收敛速度和经验均值方差降低方面优于现有基于子采样的MCMC方法。

提出的方法

• SBPS通过引入来自数据小批量的随机噪声梯度估计，扩展了弹跳粒子采样器，同时保持了分段线性轨迹结构。
• 采用基于薄化（thinning）的提议机制，其中弹跳强度由噪声梯度估计的上置信区间控制。
• 引入可调超参数 $ k $，表示以预测标准差为单位的上置信带宽度，用于控制偏差-方差权衡。
• 算法采用基于噪声估计 $ \tilde{G}(t) $ 的随机弹跳率，其提议强度 $ \gamma(t) $ 确保有效薄化，同时允许更快的混合。
• 提出一种预处理变体，以改善病态后验分布下的性能，自适应调整速度重置与梯度缩放。
• 该方法在噪声存在下仍能保证近似正确的不变分布，且对由随机近似引入的偏差提供了理论支持。

实验结果

研究问题

• RQ1 能否将无需拒绝的MCMC算法（如BPS）适配为使用噪声性、小批量梯度估计，而不会引入显著偏差？
• RQ2 在BPS中使用随机梯度时，偏差与混合效率之间的权衡是什么？该权衡是否可控制？
• RQ3 与现有基于子采样的MCMC方法相比，SBPS在收敛速度和经验均值方差方面的性能如何？
• RQ4 SBPS能否在降低每次迭代计算成本的同时，保持对平衡态的快速收敛？

主要发现

• 与标准BPS相比，SBPS在使用小批量梯度时能更快收敛至平衡态，原因在于更短的线性轨迹和更高的弹跳频率。
• SBPS的自相关函数（ACFs）在单位计算成本下衰减更快，表明其具有更优的混合效率。
• 较小的小批量大小（$ n = 50 $）可加速收敛至低负对数似然（NLL）区域，尽管在快速变化函数估计中具有更高方差。
• 上置信带宽度 $ k $ 的值越小，混合速度越快，但偏差越大，这在轨迹图中表现为与真实后验均值的偏差更高。
• 违反薄化上界概率随 $ k $ 增大而单调递减，证实了偏差的可控性。
• 在逻辑回归实验中，SBPS在 $ n=100 $ 且 $ k=1 $ 时实现了比基线方法更快的收敛速度和更低的方差，且无需问题特定的边界或调参。