[论文解读] Multilevel approximation of Gaussian random fields: Covariance compression, estimation and spatial prediction

Helmut Harbrecht, Lukas Herrmann+2 more|arXiv (Cornell University)|Mar 7, 2021

Soil Geostatistics and Mapping参考文献 56被引用 5

一句话总结

本文提出了一种基于小波基双正交多分辨率分析的多级近似框架，用于在紧致流形上对高斯随机场（GRFs）进行近似。证明了通过非自适应的截断和预处理，协方差矩阵与精度矩阵可被稀疏化，从而在模拟、克里金插值和协方差估计中实现近似最优的复杂度，且样本复杂度为对数线性。

ABSTRACT

Centered Gaussian random fields (GRFs) indexed by compacta such as smooth, bounded Euclidean domains or smooth, compact and orientable manifolds are determined by their covariance operators. We consider centered GRFs given as variational solutions to coloring operator equations driven by spatial white noise, with an elliptic self-adjoint pseudodifferential coloring operator from the Hörmander class. This includes the Matérn class of GRFs as a special case. Using biorthogonal multiresolution analyses on the manifold, we prove that the precision and covariance operators, respectively, may be identified with bi-infinite matrices and finite sections may be diagonally preconditioned rendering the condition number independent of the dimension $p$ of this section. We prove that a tapering strategy by thresholding applied on finite sections of the bi-infinite precision and covariance matrices results in optimally numerically sparse approximations. That is, asymptotically only linearly many nonzero matrix entries are sufficient to approximate the original section of the bi-infinite covariance or precision matrix using this tapering strategy to arbitrary precision. The locations of these nonzero matrix entries are known a priori. The tapered covariance or precision matrices may also be optimally diagonally preconditioned. Analysis of the relative size of the entries of the tapered covariance matrices motivates novel, multilevel Monte Carlo (MLMC) oracles for covariance estimation, in sample complexity that scales log-linearly with respect to the number $p$ of parameters. In addition, we propose and analyze a novel compressive algorithm for simulating and kriging of GRFs. The complexity (work and memory vs. accuracy) of these three algorithms scales near-optimally in terms of the number of parameters $p$ of the sample-wise approximation of the GRF in Sobolev scales.

研究动机与目标

• 解决高斯随机场中密集协方差和精度矩阵导致的大规模空间统计计算瓶颈。
• 基于伪微分算子和小波基，建立在紧致流形上近似GRFs的数学上严谨的框架。
• 在最小计算成本和最优稀疏性下，实现GRFs的高效模拟、预测（克里金插值）和协方差估计。
• 为表示协方差和精度算子的双无穷矩阵的截断和预处理建立理论保证。
• 通过基于多级蒙特卡洛预言机的改进样本复杂度，将Bickel和Levina的正则化协方差估计方法推广至伪微分算子。

提出的方法

• 将GRFs表示为由椭圆、自伴、正定伪微分着色算子驱动的SPDE的解，其驱动噪声为空间白噪声。
• 在流形上使用双正交多分辨率分析，将协方差和精度算子表示为双无穷矩阵。
• 通过阈值化处理这些矩阵的有限截断部分，应用截断技术，得到具有渐近线性稀疏性的数值稀疏近似。
• 对截断后的矩阵进行对角预处理，使条件数独立于矩阵维度 $p$。
• 基于条目大小分析，构建一个用于协方差估计的多级蒙特卡洛（MLMC）预言机，实现 $p$ 的对数线性样本复杂度。
• 提出一种基于小波系数表示的GRF模拟与克里金插值的压缩算法，其复杂度在Sobolev范数下接近最优。

实验结果

研究问题

• RQ1 能否使用基于小波的方法，在计算复杂度接近最优的情况下，对紧致流形上GRF的协方差和精度算子进行近似？
• RQ2 对双无穷协方差和精度矩阵的有限截断部分进行截断，是否能产生仅具有渐近线性非零条目数的数值稀疏近似？
• RQ3 能否使用一种非自适应的、先验已知的稀疏模式，实现最优预处理并获得稳定的数值解？
• RQ4 使用多级蒙特卡洛估计有限截断部分的伪微分协方差算子，其最优样本复杂度是多少？
• RQ5 如何利用所得的稀疏、预处理后的矩阵，设计一种GRF模拟与克里金插值的压缩算法，实现接近最优的工作-精度平衡？

主要发现

• 对双无穷协方差和精度矩阵的有限截断部分进行截断，可得到仅具有渐近线性非零条目数的数值稀疏近似，且对任意精度均成立。
• 经过对角预处理后，截断矩阵的条件数在矩阵维度 $p$ 增大时保持有界。
• 用于协方差估计的多级蒙特卡洛预言机实现了与参数数量 $p$ 呈对数线性关系的样本复杂度。
• 所提出的GRF模拟与克里金插值的压缩算法在Sobolev尺度下，实现了关于 $p$ 的近似最优工作复杂度与内存复杂度。
• 对于流形上的马特ern型GRFs，协方差算子特征值的谱平台规模为 $J^* = \mathcal{O}(\kappa^{2n/\bar{r}}) = \mathcal{O}(\bar{\lambda}^{-n})$，其中 $\bar{\lambda}$ 为相关长度。
• MLMC协方差估计的计算工作量为 $\mathcal{O}(2^{J2\alpha_0})$（当 $2\alpha > n$ 时），$\mathcal{O}(2^{J2\alpha_0}J^3)$（当 $2\alpha = n$ 时），以及 $\mathcal{O}(2^{J(n - 2(\alpha_0 - \alpha))})$（当 $2\alpha < n$ 时），其中 $\varepsilon = 2^{2J\alpha_0}$ 为误差容限。