[论文解读] Scalable iterative methods for sampling from massive Gaussian random vectors

Daniel Simpson, Ian Turner+2 more|arXiv (Cornell University)|Dec 5, 2013

Bayesian Methods and Mixture Models参考文献 51被引用 6

一句话总结

本文提出了一种可扩展的迭代Krylov子空间方法，用于从大规模高斯马尔可夫随机场（GMRFs）中进行采样，实现与维度无关的收敛性。通过利用结构化的精度矩阵——尤其是近似（块）循环形式的矩阵——该方法实现了O(n log n)的采样复杂度，从而在大规模空间和时空模型中实现高效、高精度的推断。

ABSTRACT

Sampling from Gaussian Markov random fields (GMRFs), that is multivariate Gaussian ran- dom vectors that are parameterised by the inverse of their covariance matrix, is a fundamental problem in computational statistics. In this paper, we show how we can exploit arbitrarily accu- rate approximations to a GMRF to speed up Krylov subspace sampling methods. We also show that these methods can be used when computing the normalising constant of a large multivariate Gaussian distribution, which is needed for both any likelihood-based inference method. The method we derive is also applicable to other structured Gaussian random vectors and, in particu- lar, we show that when the precision matrix is a perturbation of a (block) circulant matrix, it is still possible to derive O(n log n) sampling schemes.

研究动机与目标

• 解决从高维高斯随机向量中采样的计算瓶颈，特别是在大规模空间和时空模型的贝叶斯推断中。
• 克服标准Cholesky分解在大型GMRF中带来的O(n³)计算成本和O(n²)内存需求。
• 开发无需矩阵存储的迭代采样方法，仅需O(n)存储空间，并通过自适应误差控制实现任意精度。
• 通过利用精度矩阵中的结构（如（块）循环或托普利茨形式），实现与维度无关的采样。
• 将Krylov子空间方法的适用范围扩展至计算归一化常数，并支持在大规模模型中进行可扩展的MCMC推断。

提出的方法

• 使用Krylov子空间方法在不显式构造或存储精度矩阵Q的情况下，计算来自N(0, Q⁻¹)的近似样本。
• 应用Lanczos算法，构建Q⁻¹/²z的Krylov子空间近似，其中z为标准正态向量。
• 利用Q的结构化近似——特别是（块）循环矩阵——以实现基于快速傅里叶变换（FFT）的矩阵-向量乘积。
• 引入预条件策略，保持O(n log n)的复杂度，尤其适用于循环矩阵的扰动情形。
• 使用Hutchinson估计器通过迹估计计算高斯分布的归一化常数。
• 将采样方法集成到MCMC方案中，证明了具有可控误差的不精确采样器仍能保持渐近精确性，因为近似误差通常被蒙特卡洛误差所掩盖。

实验结果

研究问题

• RQ1 Krylov子空间方法能否被加速，以实现从大规模GMRF中采样的与维度无关的收敛性？
• RQ2 如何利用精度矩阵的结构化近似（如循环或托普利茨形式）将采样复杂度降低至O(n log n)？
• RQ3 具有有界误差的不精确采样方法在多大程度上仍能产生有效的贝叶斯模型MCMC推断？
• RQ4 能否使用基于Krylov的迭代估计器高效计算高维多变量高斯分布的归一化常数？
• RQ5 何种预条件策略能够在保持与问题规模无关的收敛速度的同时，实现可扩展的、无矩阵存储的采样？

主要发现

• 当精度矩阵是（块）循环矩阵的扰动时，所提方法实现了O(n log n)的采样复杂度。
• 采用自适应步长控制的Krylov子空间采样展现出超几何收敛速度，显著优于传统迭代求解器的几何收敛速度。
• 使用Kry洛采样器的不精确MCMC方案仍保持渐近精确性，因为近似误差通常被蒙特卡洛误差所掩盖。
• 在Krylov框架内应用Hutchinson估计器，可高效计算大维多变量高斯分布的归一化常数。
• 基于（块）循环近似的预条件策略使该方法能够扩展至直接分解因内存限制而不可行的问题。
• 该框架支持一般结构化的高斯向量，并可扩展至托普利茨和带状块托普利茨矩阵，尽管计算成本有所增加。