[论文解读] Scalable MCMC for Bayes Shrinkage Priors

James E. Johndrow, Paulo Orenstein|arXiv (Cornell University)|May 2, 2017

Bayesian Methods and Mixture Models被引用 11

一句话总结

该论文提出了一种可扩展的MCMC算法，用于具有贝叶斯收缩先验的贝叶斯高维模型，结合了分块吉布斯采样、梅特罗波利斯-黑斯廷斯方法和切片采样，实现了比现有方法高50至100倍的有效样本量，且计算成本相同，随着维度增加，收敛速度的退化也慢得多，从而实现了在最多20,000个预测变量的问题中的高效推断。

ABSTRACT

Gaussian scale mixture priors are frequently employed in Bayesian analysis of high-dimensional models, and a theoretical literature exists showing optimal risk properties of several members of this family in $p \gg n$ settings when the truth is sparse. However, while implementations of frequentist methods such as the Lasso can scale to dimension in the hundreds of thousands, corresponding Bayesian methods that use MCMC for computation are often limited to problems at least an order of magnitude smaller. This is in large part due to convergence toward unity of the spectral gap of the associated Markov kernel as the dimension grows. Here we propose an MCMC algorithm for computation in these models that combines blocked Gibbs, Metropolis-Hastings, and slice sampling. Our algorithm has computational cost per step comparable to the best existing alternatives, but superior convergence properties, giving effective sample sizes of 50 to 100 fold larger for identical computation time. Moreover, the convergence rate of our algorithm deteriorates much more slowly than alternatives as the dimension grows. We illustrate the scalability of the algorithm in simulations with up to 20,000 predictors.

研究动机与目标

• 解决具有高斯尺度混合先验的高维贝叶斯模型中MCMC的可扩展性瓶颈问题。
• 克服现有MCMC方法在维度增加时谱间隙和收敛速度迅速恶化的缺陷。
• 开发一种MCMC算法，使其在高维设置下每单位计算时间保持较高的有效样本量。
• 实现在具有数千个预测变量的$p \gg n$问题中的实际贝叶斯推断，其中频率学方法如Lasso可高效扩展，但贝叶斯MCMC方法却不能。

提出的方法

• 该算法结合分块吉布斯采样，以高效更新参数块。
• 引入梅特罗波利斯-黑斯廷斯步骤，以提出具有更优混合特性的新状态。
• 采用切片采样处理收缩先验的尺度混合结构，且无需导数信息。
• 通过减少随机游走行为并改善几何遍历性，设计方法以维持有利的谱间隙。
• 每轮迭代的计算成本与现有方法相当，但收敛特性显著提升。
• 该算法专为稀疏真值模型设计，利用贝叶斯收缩先验的结构以改善混合性和有效样本量。

实验结果

研究问题

• RQ1 能否使高维收缩先验的MCMC方法扩展到数万个预测变量？
• RQ2 所提出的MCMC算法在单位计算时间内的有效样本量方面，与现有方法相比如何？
• RQ3 与现有替代方法相比，该算法的收敛速度随维度增加的退化是否更慢？
• RQ4 该算法在高维稀疏模型中在多大程度上能保持高混合效率？

主要发现

• 所提出的MCMC算法在相同计算成本下，有效样本量比现有方法高出50至100倍。
• 与替代MCMC方法相比，该算法的收敛速度随维度增加的退化要慢得多。
• 该算法能有效扩展到最多20,000个预测变量的问题，展示了在高维设置下的实际可行性。
• 分块吉布斯采样、梅特罗波利斯-黑斯廷斯方法和切片采样的结合，带来了更优的混合效果并减少了随机游走行为。