[论文解读] Paired-move multiple-try stochastic search for Bayesian variable selection

Xu Chen, Shaan Qamar+1 more|arXiv (Cornell University)|Nov 29, 2016

Statistical Methods and Inference参考文献 5被引用 3

一句话总结

本文提出了一种新颖的成对移动多尝试马尔可夫链蒙特卡洛（pMTM）算法，用于高维‘大p小n’设置下的贝叶斯变量选择。通过将多尝试马尔可夫链蒙特卡洛推广至离散模型空间，并结合基于邻域的随机搜索，该方法实现了对模型空间的高效探索，显著提升了混合效率与可扩展性，在保持模型规模具有竞争力的同时，相比现有方法显著降低了预测均方误差。

ABSTRACT

Variable selection is a key issue when analyzing high-dimensional data. The explosion of data with large sample sizes and dimensionality brings new challenges to this problem in both inference accuracy and computational complexity. To alleviate these problems, we propose a new scalable Markov chain Monte Carlo (MCMC) sampling algorithm for "large $p$ small $n$" scenarios by generalizing multiple-try Metropolis to discrete model spaces and further incorporating neighborhood-based stochastic search. The proof of reversibility of the proposed MCMC algorithm is provided. Extensive simulation studies are performed to examine the efficiency of the new algorithm compared with existing methods. A real data example is provided to illustrate the prediction performances of the new algorithm.

研究动机与目标

• 解决在高维数据中p大n小的贝叶斯变量选择所面临的计算与推断挑战。
• 通过引入基于邻域的随机搜索策略，改善MCMC在离散模型空间探索中的混合与收敛性。
• 通过成对移动多尝试马尔可夫链蒙特卡洛框架提升可扩展性与效率，减少对局部顺序扫描的依赖。
• 通过后验模型概率提供可靠不确定性量化，实现稳健且可复现的变量选择方法。
• 通过并行计算与计算预算控制，实现大规模数据集上的实际应用。

提出的方法

• 通过引入成对移动，将多尝试马尔可夫链蒙特卡洛算法推广至离散模型空间，同时提出多个候选模型。
• 提出一种基于邻域的随机搜索策略，探索局部邻域内的模型，提升在预测变量相关情况下的混合效率。
• 采用可逆MCMC转移核，并设计合理的提议分布，以确保细致平衡性并收敛至目标后验分布。
• 使用灵活的计算预算参数M，在实验中设定为p/10，以控制每次迭代中提议的候选模型数量。
• 通过R语言中的parallel包实现基于集群的并行计算，将数据分发至多个核心，并行评估边际似然。
• 在ada-pMTM中引入自适应调优，动态更新预测变量的得分，相比标准pMTM减少边际似然评估次数。

实验结果

研究问题

• RQ1 多尝试马尔可夫链蒙特卡洛算法能否被有效推广至离散模型空间，以实现贝叶斯变量选择？
• RQ2 与顺序扫描相比，成对移动策略在高维模型空间探索中如何提升混合效率与收敛性？
• RQ3 计算预算M的变化对模型选择效率与准确率有何影响？
• RQ4 并行化是否能在不损害采样质量的前提下显著提升大规模变量选择的运行时间？
• RQ5 与Lasso、SCAD和SSS等现有方法相比，所提方法在预测性能与模型选择准确率方面表现如何？

主要发现

• pMTM与ada-pMTM算法的预测均方误差（MSE）低于对比方法，其中ada-pMTM在真实数据示例中报告MSE为116.43。
• pMTM与ada-pMTM生成的模型规模小于Lasso与自适应Lasso，同时保持更优的预测性能。
• 该算法展现出强大的可扩展性，当M较大时，尤其在8个核心下，性能在并行化下显著提升。
• 当M = p/5时，通信开销限制了4或8个集群的性能提升，但随着M增大，计算时间占主导，使并行化更具优势。
• 该方法在少量样本下即可快速收敛至平衡状态，满足可复现性对收敛性与样本量的要求。
• 建议未来工作将pRNS与ada-pMTM结合，形成混合方法，以在样本多样性与收敛速度之间取得平衡。