[论文解读] Sparse Precision Matrix Selection for Fitting Gaussian Random Field Models to Large Data Sets

Sam Davanloo Tajbakhsh, Necdet Serhat Aybat+1 more|arXiv (Cornell University)|May 21, 2014

Soil Geostatistics and Mapping参考文献 52被引用 7

一句话总结

该论文提出了一种两步法，通过首先使用带有加权ℓ₁正则化的ADMM求解凸稀疏精度矩阵估计问题，然后通过最小二乘法估计协方差参数，以高效拟合大规模空间数据集的二阶平稳高斯随机场模型。该方法降低了计算复杂度并确保收敛性，在大数据集上优于传统的最大似然（ML）方法。

ABSTRACT

Iterative methods for fitting a Gaussian Random Field (GRF) model to spatial data via maximum likelihood (ML) require $\mathcal{O}(n^3)$ floating point operations per iteration, where $n$ denotes the number of data locations. For large data sets, the $\mathcal{O}(n^3)$ complexity per iteration together with the non-convexity of the ML problem render traditional ML methods inefficient for GRF fitting. The problem is even more aggravated for anisotropic GRFs where the number of covariance function parameters increases with the process domain dimension. In this paper, we propose a new two-step GRF estimation procedure when the process is second-order stationary. First, a \emph{convex} likelihood problem regularized with a weighted $\ell_1$-norm, utilizing the available distance information between observation locations, is solved to fit a sparse \emph{{precision} (inverse covariance) matrix to the observed data using the Alternating Direction Method of Multipliers. Second, the parameters of the GRF spatial covariance function are estimated by solving a least squares problem. Theoretical error bounds for the proposed estimator are provided; moreover, convergence of the estimator is shown as the number of samples per location increases. The proposed method is numerically compared with state-of-the-art methods for big $n$. Data segmentation schemes are implemented to handle large data sets.

研究动机与目标

• 解决在大规模空间数据集中对高斯随机场（GRFs）进行最大似然（ML）估计时的高计算成本问题。
• 克服传统ML拟合方法的非凸性以及O(n³)复杂度，特别是在具有更多参数的各向异性GRFs中。
• 开发一种利用空间距离信息以提升可扩展性的凸稀疏精度矩阵估计过程。
• 确保随着每个位置样本量的增加，估计量具有理论一致性和收敛性。
• 通过数据分割和可扩展优化，实现对大数据的高效处理。

提出的方法

• 通过使用观测位置之间已知距离信息的加权ℓ₁-范数正则化，将凸似然问题公式化，以在精度矩阵中诱导稀疏性。
• 使用交替方向乘子法（ADMM）求解所得优化问题，以实现高效且可扩展的计算。
• 利用估计得到的稀疏精度矩阵，通过最小二乘问题估计GRF协方差函数参数。
• 利用过程的二阶平稳性来指导精度矩阵结构和正则化权重的设计。
• 应用数据分割技术以分布计算方式管理超出单机处理能力的大数据集。
• 通过理论分析推导误差界，并证明随着每个位置样本数的增加，估计量的收敛性。

实验结果

研究问题

• RQ1 通过凸稀疏精度矩阵估计方法是否能降低拟合大规模空间数据集GRFs的计算负担？
• RQ2 将空间距离信息纳入ℓ₁正则化在提升估计精度和稀疏性方面有何改善作用？
• RQ3 所提出的两步法是否能实现具有理论收敛保证的一致参数估计？
• RQ4 与最先进方法相比，该方法在多大程度上可扩展至大数据集？
• RQ5 数据分割方案在保持估计质量的同时，对支持分布式计算的有效性如何？

主要发现

• 通过用ADMM求解的凸稀疏精度矩阵估计替代非凸ML优化，该方法实现了O(n³)复杂度的降低。
• 推导出理论误差界，表明估计量是一致的，并且随着每个位置样本数的增加而收敛。
• 在计算效率和可扩展性方面，该方法优于传统ML拟合方法，尤其在各向异性设置下表现更优。
• 数据分割使该方法能够处理超出标准方法内存和计算极限的大数据集。
• 两步法流程——先进行稀疏精度矩阵估计，再通过最小二乘法拟合参数——可获得稳定且准确的协方差参数估计。
• 使用基于距离的加权ℓ₁正则化，增强了精度矩阵的稀疏性，同时保持了空间结构。