[论文解读] Slice Sampling with Adaptive Multivariate Steps: The Shrinking-Rank Method

Madeleine B. Thompson, Radford M. Neal|arXiv (Cornell University)|Nov 22, 2010

Bayesian Methods and Mixture Models参考文献 9被引用 7

一句话总结

收缩秩方法是一种切片抽样算法，通过自适应地缩小与拒绝点处对数密度梯度正交的提议子空间，来改善高度相关多变量分布中的混合性能。通过迭代地使提议分布与切片的最长轴对齐，该方法在高维、相关性强的设置下，相较于自适应Metropolis和t-walk，实现了更快的收敛速度和更低的自相关性。

ABSTRACT

The shrinking rank method is a variation of slice sampling that is efficient at sampling from multivariate distributions with highly correlated parameters. It requires that the gradient of the log-density be computable. At each individual step, it approximates the current slice with a Gaussian occupying a shrinking-dimension subspace. The dimension of the approximation is shrunk orthogonally to the gradient at rejected proposals, since the gradients at points outside the current slice tend to point towards the slice. This causes the proposal distribution to converge rapidly to an estimate of the longest axis of the slice, resulting in states that are less correlated than those generated by related methods. After describing the method, we compare it to two other methods on several distributions and obtain favorable results.

研究动机与目标

• 解决在参数高度相关或尺度不同时，马尔可夫链蒙特卡洛（MCMC）方法混合缓慢的问题。
• 开发一种切片抽样变体，利用梯度信息自适应调整提议分布，以匹配目标密度的局部几何结构。
• 在标准自适应MCMC方法难以应对的高维、相关性强的分布中，提升采样效率。
• 确保对旋转和位移的不变性，以及近似尺度不变性，从而在不同参数化下保持鲁棒性。
• 为现有自适应MCMC方法（如自适应Metropolis和t-walk）在复杂后验分布中提供一种可扩展且鲁棒的替代方案。

提出的方法

• 使用切片抽样中的crumb框架，其中crumb从以当前状态为中心的高斯分布中抽取，提议则根据先前crumb加权的分布生成。
• 初始crumb和提议从标准差为σc的球面对称高斯分布中抽取，若未发生接受，则自适应地减小σc。
• 在提议被拒绝后，将拒绝点处对数密度的梯度投影到当前子空间J的零空间中，以识别与现有约束正交的方向。
• 若投影梯度与完整梯度之间的夹角超过60°，则通过添加归一化的投影梯度作为新列来扩展子空间J，使提议与切片的最长轴对齐。
• 通过使用所有先前crumb精度之和构成的精度矩阵来更新提议分布，从而保证细致平衡性，并确保对切片上均匀分布的不变性。
• 该方法通过将提议限制在与梯度正交的子空间中，动态降低提议空间的维度（即收缩秩），从而在相关性强的空间中提升效率。

实验结果

研究问题

• RQ1 能否设计一种基于梯度信息自适应减小提议子空间的切片抽样方法，以在高度相关多变量分布中实现更优的混合性能？
• RQ2 在一系列相关性强且高维的目标分布中，收缩秩方法在效率和鲁棒性方面相较于自适应Metropolis和t-walk表现如何？
• RQ3 当目标分布呈偏态时，梯度在拒绝点处无法可靠指向切片，此时该方法的性能会退化到何种程度？
• RQ4 与其它自适应MCMC采样器相比，该方法在维度增加时的可扩展性如何？
• RQ5 调优参数σc和θ对方法收敛速度和自相关时间的影响如何？

主要发现

• 在条件数为2800的高度相关多变量正态分布目标上，收缩秩方法在每获得一个独立观测所需的对数密度评估次数上，显著低于t-walk和自适应Metropolis。
• 在德国信用贝叶斯逻辑回归模型（25个参数）中，收缩秩方法与自适应Metropolis性能相当，且在调优参数选择得当时显著优于t-walk。
• 在未对数变换的高斯过程回归中，收缩秩方法表现较差，但对参数进行对数变换后性能显著提升，表明其对非椭球形目标形状较为敏感。
• 在高维Gamma(2,1)目标（维度分别为2、20、200）中，收缩秩方法的可扩展性接近线性，当维度增加十倍时，函数评估次数仅增加约十倍，与自适应Metropolis表现相似。
• t-walk在高维设置中无法有效扩展，在200维Gamma目标上表现极差，而收缩秩和自适应Metropolis则保持了合理的效率。
• 该方法具有旋转和位移不变性，且近乎尺度不变，使其对重参数化具有鲁棒性；同时，它在每次迭代中实现局部自适应，而自适应Metropolis则构建全局提议协方差矩阵。