[论文解读] Prior-preconditioned conjugate gradient for accelerated Gibbs sampling in "large n & large p" sparse Bayesian logistic regression models

Akihiko Nishimura, Marc A. Suchard|arXiv (Cornell University)|Oct 29, 2018

Statistical Methods and Bayesian Inference被引用 6

一句话总结

本文提出了一种先验预条件共轭梯度（PCG）方法，以加速高维稀疏贝叶斯逻辑回归中的吉布斯采样，其中 n ≈ 10^5 且 p ≈ 10^4–10^5。通过利用收缩先验的结构对精度矩阵 Φ 进行预条件处理，该方法避免了显式分解，转而通过共轭梯度法求解 Φβ = b，并利用廉价的矩阵-向量乘积，实现在 n=72,489 且 p=22,175 的真实世界研究中实现 10 倍的加速。

ABSTRACT

In a modern observational study based on healthcare databases, the number of observations typically ranges in the order of 10^5 ~ 10^6 and that of the predictors in the order of 10^4 ~ 10^5. Despite the large sample size, data rarely provide sufficient information to reliably estimate such a large number of parameters. Sparse regression provides a potential solution. There is a rich literature on desirable theoretical properties of Bayesian approaches based on shrinkage priors. On the other hand, the development of scalable methods for the required posterior computation has largely been limited to the p >> n case. Shrinkage priors make the posterior amenable to Gibbs sampling, but a major computational bottleneck arises from the need to sample from a high-dimensional Gaussian distribution at each iteration. Despite a closed-form expression for the precision matrix $Φ$, computing and factorizing such a large matrix is computationally expensive nonetheless. In this article, we present a novel algorithm to speed up this bottleneck based on the following observation: we can cheaply generate a random vector $b$ such that the solution to the linear system $Φβ= b$ has the desired Gaussian distribution. We can then solve the linear system by the conjugate gradient (CG) algorithm through the matrix-vector multiplications by $Φ$, without ever explicitly inverting $Φ$. Practical performance of CG, however, depends critically on appropriate preconditioning of the linear system; we turn CG into an effective algorithm for sparse Bayesian regression by developing a theory of prior-preconditioning. We apply our algorithm to a large-scale observational study with n = 72,489 and p = 22,175, designed to assess the relative risk of intracranial hemorrhage from two alternative blood anti-coagulants. Our algorithm demonstrates an order of magnitude speed-up in the posterior computation.

研究动机与目标

• 解决高维稀疏贝叶斯逻辑回归模型中 n 和 p 较大时吉布斯采样的计算瓶颈问题。
• 克服在条件后验分布中对高维精度矩阵 Φ 进行求逆或分解的高昂计算成本。
• 开发一种高效且可扩展的后验计算方法，利用收缩先验的结构特性。
• 在不牺牲采样精度或收敛性特征的前提下，实现后验采样的显著加速。

提出的方法

• 提出一种新颖的先验预条件共轭梯度（PCG）算法，用于求解线性系统 Φβ = b，其中 Φ 是条件后验分布中的精度矩阵。
• 利用从精度矩阵为 Φ 的多变量正态分布中抽样的事实可转化为求解 Φβ = b，从而避免显式矩阵求逆。
• 采用基于收缩先验结构构造的先验预条件器，以改善 Φ 的条件数，提升共轭梯度法的收敛性。
• 通过先验诱导的低秩结构，高效执行与 Φ 的矩阵-向量乘积，避免完整存储或分解。
• 提出一种先验预条件化的理论框架，以指导为稀疏贝叶斯模型量身定制的有效预条件器的构建。
• 将 PCG 求解器集成到吉布斯采样框架中，以加速高维逻辑回归中的后验探索。

实验结果

研究问题

• RQ1 能否利用先验信息对共轭梯度法进行有效预条件处理，以加速高维稀疏贝叶斯模型中的后验采样？
• RQ2 如何在不显式分解精度矩阵的前提下，降低求解高维高斯抽样问题的计算成本？
• RQ3 先验预条件化对稀疏贝叶斯逻辑回归中 CG 的收敛速度和计算效率有何影响？
• RQ4 所提出的方法是否能在 n > 70,000 且 p > 20,000 的真实世界数据集上保持采样精度的同时实现可扩展性？
• RQ5 与标准 CG 或直接方法相比，先验预条件化是否能带来可测量的后验计算加速？

主要发现

• 所提出的先验预条件共轭梯度（PCG）方法在后验计算方面相比标准方法实现了数量级的加速。
• 该方法避免了对精度矩阵 Φ 的显式分解，从而在高维设置下降低了内存和计算成本。
• 使用先验预条件化显著提升了共轭梯度算法的收敛速度，使其在大规模模型中具备实用性。
• 在 n = 72,489 且 p = 22,175 的真实世界研究中，该算法将采样时间减少了 10 倍。
• 通过求解 Φβ = b 正确地从目标高斯分布中生成抽样，保证了后验采样的准确性。
• 该方法在大 n 和大 p 的场景下表现出良好的可扩展性，使得稀疏贝叶斯逻辑回归中的可行 MCMC 推断成为可能。