[论文解读] Prior-preconditioned conjugate gradient method for accelerated Gibbs sampling in "large $n$ & large $p$" Bayesian sparse regression.

Akihiko Nishimura, Marc A. Suchard|arXiv (Cornell University)|Oct 29, 2018

Statistical Methods and Inference参考文献 62被引用 9

一句话总结

本文提出了一种先验预条件共轭梯度（PP-CG）方法，以加速高维贝叶斯稀疏回归中的吉布斯抽样，其中从高维正态分布中抽样是计算瓶颈。通过利用收缩先验的结构，该方法避免了显式分解精度矩阵Φ，转而通过CG方法求解Φβ = b，其中b为廉价生成的随机向量，从而在后验推断中实现了最高10倍的加速——在n = 72,489且p = 22,175的真实研究中，将计算时间从两周以上缩短至一天以内。

ABSTRACT

In a modern observational study based on healthcare databases, the number of observations and of predictors typically range in the order of 105–106 and of 104–105. Despite the large sample size, data rarely provide sufficient information to reliably estimate such a large number of parameters. Sparse regression techniques provide potential solutions, one notable approach being the Bayesian method based on shrinkage priors. In the “large n and large p” setting, however, the required posterior computation encounters a bottleneck at repeated sampling from a high-dimensional Gaussian distribution, whose precision matrix Φ is expensive to compute and factorize. In this article, we present a novel algorithm to speed up this bottleneck based on the following observation: We can cheaply generate a random vector b such that the solution to the linear system Φβ=b has the desired Gaussian distribution. We can then solve the linear system by the conjugate gradient (CG) algorithm through matrix-vector multiplications by Φ; this involves no explicit factorization or calculation of Φ itself. Rapid convergence of CG in this context is guaranteed by the theory of prior-preconditioning we develop. We apply our algorithm to a clinically relevant large-scale observational study with n=72, 489 patients and p=22, 175 clinical covariates, designed to assess the relative risk of adverse events from two alternative blood anti-coagulants. Our algorithm demonstrates an order of magnitude speed-up in posterior inference, in our case cutting the computation time from two weeks to less than a day. Supplementary materials for this article are available online.

研究动机与目标

• 解决当n和p均较大时（例如n ~ 10^5，p ~ 10^4–10^5）高维贝叶斯稀疏回归中吉布斯抽样的计算瓶颈。
• 克服在精度矩阵Φ = XᵀΩX + τ⁻²Λ⁻²下从高维正态分布中抽样时O(np² + p³)的Cholesky分解成本。
• 开发一种可扩展的标准MCMC替代方法，避免显式分解并减少对密集线性代数运算的依赖。
• 在大规模观察性研究（如比较药物安全性分析）中实现高效后验推断，其中数据稀疏性和罕见结果会加剧计算挑战。
• 在n = 72,489名患者和p = 22,175个协变量的真实临床研究中展示实际加速效果。

提出的方法

• 提出一种新颖算法，用于在不显式计算或分解Φ的情况下，从高维正态分布β | ω, λ, τ, y, X ∼ N(Φ⁻¹XᵀΩỹ, Φ⁻¹)中抽样。
• 使用共轭梯度（CG）方法求解Φβ = b，其中b是从某种分布中抽取的随机向量，使得解β具有目标正态分布的特性。
• 利用先验预条件理论，通过利用Φ的谱结构和β的层次先验，确保CG的快速收敛。
• 构造b，使得Φβ = b的解具有正确的均值和协方差，从而避免计算Φ或其Cholesky分解。
• 在CG迭代中使用Φ的矩阵-向量乘积，即使在X稀疏时也保持高效，避免因不规则内存访问带来的延迟。
• 将PP-CG抽样器集成到稀疏逻辑回归的吉布斯抽样框架中，通过Polya-Gamma变量实现数据增强。

实验结果

研究问题

• RQ1 我们能否在不显式计算或分解精度矩阵Φ的情况下，加速高维贝叶斯稀疏回归中的吉布斯抽样？
• RQ2 是否可以生成一个随机向量b，使得通过CG求解Φβ = b能获得目标高维正态分布的样本？
• RQ3 先验预条件理论是否能保证在此情境下CG的快速收敛，特别是在Φ条件数差或维度高时？
• RQ4 在n ≫ p且设计矩阵稀疏的真实大规模观察性研究中，该方法能否实现显著加速？
• RQ5 在具有临床相关性的设置中，PP-CG方法与标准吉布斯抽样器相比，在计算时间和收敛性方面表现如何？

主要发现

• 所提出的先验预条件共轭梯度（PP-CG）方法在后验推断中实现了数量级的加速，将计算时间从超过两周缩短至一天以内，该结果来自n = 72,489且p = 22,175的真实研究。
• 该方法避免了精度矩阵Φ的显式分解，将每轮迭代的计算成本从O(np² + p³)降低至O(knp)，其中k为CG迭代次数。
• PP-CG方法因先验预条件理论的理论保证而快速收敛，该理论利用了Φ的谱性质和层次先验结构。
• 在抗凝血药物安全性的临床研究中，PP-CG抽样器相比标准吉布斯抽样器实现了10倍加速，后者在10,000次迭代中耗时超过200小时。
• 该方法对设计矩阵X的稀疏性具有鲁棒性，在数据稀疏或结果罕见（医疗数据库中常见）时仍保持高效。
• 该方法可推广至任何后验条件分布为正态且精度矩阵可表示为XᵀΩX + τ⁻²Λ⁻²的模型，包括其他收缩先验模型。