[论文解读] Slice Sampling

Radford M. Neal|arXiv (Cornell University)|Sep 7, 2000

Bayesian Methods and Mixture Models被引用 1,178

一句话总结

本文提出切片抽样（slice sampling），一种自适应的马尔可夫链蒙特卡洛方法，通过从密度曲线下的区域均匀抽样，实现对单变量和多变量分布的自适应抽样。通过在切片内交替进行垂直和水平抽样，该方法能高效探索目标分布，无需人工调参，在许多情况下优于吉布斯采样和梅特罗波利斯方法，原因在于自适应步长选择和减少的随机游走行为。

ABSTRACT

Markov chain sampling methods that automatically adapt to characteristics of the distribution being sampled can be constructed by exploiting the principle that one can sample from a distribution by sampling uniformly from the region under the plot of its density function. A Markov chain that converges to this uniform distribution can be constructed by alternating uniform sampling in the vertical direction with uniform sampling from the horizontal `slice' defined by the current vertical position, or more generally, with some update that leaves the uniform distribution over this slice invariant. Variations on such `slice sampling' methods are easily implemented for univariate distributions, and can be used to sample from a multivariate distribution by updating each variable in turn. This approach is often easier to implement than Gibbs sampling, and more efficient than simple Metropolis updates, due to the ability of slice sampling to adaptively choose the magnitude of changes made. It is therefore attractive for routine and automated use. Slice sampling methods that update all variables simultaneously are also possible. These methods can adaptively choose the magnitudes of changes made to each variable, based on the local properties of the density function. More ambitiously, such methods could potentially allow the sampling to adapt to dependencies between variables by constructing local quadratic approximations. Another approach is to improve sampling efficiency by suppressing random walks. This can be done using `overrelaxed' versions of univariate slice sampling procedures, or by using `reflective' multivariate slice sampling methods, which bounce off the edges of the slice.

研究动机与目标

• 开发一种自适应的MCMC抽样方法，无需对提议分布进行人工调参。
• 解决标准MCMC方法（如梅特罗波利斯和吉布斯采样）中随机游走行为效率低下的问题。
• 基于局部密度特性自动调整步长，以改善收敛性和混合性能。
• 通过使用局部近似方法顺序或联合更新变量，将该方法扩展至多变量设置。
• 通过引入超松弛和反射变体，进一步提升抽样效率，减少随机游走行为。

提出的方法

• 通过在由当前密度值定义的切片内交替进行垂直和水平的均匀抽样，从密度函数下方的区域中进行均匀抽样。
• 构建一个马尔可夫链，使其收敛于切片上的均匀分布，从而保证细致平衡和不变性。
• 以单变量切片抽样作为基础，每次更新一个变量，同时对其他变量进行条件化处理。
• 通过使用局部二次近似同时更新所有变量，实现多变量切片抽样，以捕捉变量间的依赖关系。
• 对单变量更新应用超松弛变换，通过引入对称移动来减少随机游走行为。
• 在多变量设置中实现反射切片抽样，通过使抽样器在切片边界处“反弹”来改善探索性能。

实验结果

研究问题

• RQ1 能否设计一种抽样方法，使其能自动适应目标密度的局部几何结构，而无需人工调参？
• RQ2 如何在保持效率和收敛性的同时，将切片抽样扩展至多变量分布？
• RQ3 超松弛和反射变体在多变量切片抽样中能在多大程度上减少随机游走行为？
• RQ4 在多变量切片抽样中，局部二次近似能否有效建模变量间的依赖关系并改善混合性能？
• RQ5 在实际应用中，切片抽样与吉布斯采样和梅特罗波利斯-哈斯廷斯采样相比，在效率和鲁棒性方面表现如何？

主要发现

• 切片抽样通过利用目标密度的几何结构，实现了步长的自动适应，消除了人工调参的需要。
• 该方法在自适应步长选择的推动下，优于标准的梅特罗波利斯更新，且通常比吉布斯采样更高效。
• 超松弛和反射变体显著减少了随机游走行为，从而改善了混合性能和收敛速度。
• 通过局部二次近似，同时更新的多变量切片抽样能够自适应地捕捉局部依赖关系。
• 顺序和联合更新策略为单变量和多变量目标提供了灵活且高效的抽样方法。
• 由于其鲁棒性和实现简便性，该方法非常适合用于常规和自动化的贝叶斯推断。