[论文解读] Scalable Stochastic Kriging with Markovian Covariances

Liang Ding, Xiaowei Zhang|arXiv (Cornell University)|Mar 7, 2018

Simulation Techniques and Applications参考文献 23被引用 3

一句话总结

本文提出马尔可夫协方差函数（MCFs），这是一种新型协方差函数类别，可在随机克里金插值中实现解析可逆且稀疏的精度矩阵。通过利用与线性常微分方程相关的特定函数形式，MCFs 将计算复杂度从 O(n³) 降低至 O(n²)，在低误差或结构化设计假设下可进一步提升性能，从而实现可扩展、数值稳定的大型仿真代理建模。

ABSTRACT

Stochastic kriging is a popular technique for simulation metamodeling due to its exibility and analytical tractability. Its computational bottleneck is the inversion of a covariance matrix, which takes $O(n^3)$ time in general and becomes prohibitive for large n, where n is the number of design points. Moreover, the covariance matrix is often ill-conditioned for large n, and thus the inversion is prone to numerical instability, resulting in erroneous parameter estimation and prediction. These two numerical issues preclude the use of stochastic kriging at a large scale. This paper presents a novel approach to address them. We construct a class of covariance functions, called Markovian covariance functions (MCFs), which have two properties: (i) the associated covariance matrices can be inverted analytically, and (ii) the inverse matrices are sparse. With the use of MCFs, the inversion-related computational time is reduced to $O(n^2)$ in general, and can be further reduced by orders of magnitude with additional assumptions on the simulation errors and design points. The analytical invertibility also enhance the numerical stability dramatically. The key in our approach is that we identify a general functional form of covariance functions that can induce sparsity in the corresponding inverse matrices. We also establish a connection between MCFs and linear ordinary differential equations. Such a connection provides a flexible, principled approach to constructing a wide class of MCFs. Extensive numerical experiments demonstrate that stochastic kriging with MCFs can handle large-scale problems in an both computationally efficient and numerically stable manner.

研究动机与目标

• 解决由于大 n 时协方差矩阵求逆的 O(n³) 复杂度导致的随机克里金插值中的计算与数值不稳定性瓶颈。
• 克服因大协方差矩阵病态导致的参数估计不准确与预测误差问题。
• 开发一类协方差函数，确保其对应的精度矩阵具有解析可逆性与稀疏性，从而实现高效且稳定的计算。
• 建立一种基于线性常微分方程联系的系统化、灵活的框架，用于构造此类协方差函数。

提出的方法

• 提出一类新型协方差函数，称为马尔可夫协方差函数（MCFs），其定义基于特定函数形式，可诱导出三对角精度矩阵。
• 识别出一种通用函数形式，使得协方差矩阵的逆具有稀疏性且可解析计算，从而将求逆复杂度从 O(n³) 降低至 O(n²)。
• 利用 MCFs 与线性常微分方程之间的联系，生成具有所需特性的广泛且灵活的有效 MCF 家族。
• 使用格林函数与递推关系，推导出逆协方差矩阵及其行列式的闭式表达式。
• 应用拉普拉斯展开与数学归纳法，证明通过移除一个或两个点形成的子矩阵的行列式遵循与 MCF 参数相关的递归结构。
• 证明在特定条件下（如模拟误差可忽略），可通过完全避免数值求逆将计算成本进一步降低至 O(n)。

实验结果

研究问题

• RQ1 能否构造一类协方差函数，使得其对应的精度矩阵既具有解析可逆性又保持稀疏性，从而在随机克里金插值中降低计算复杂度？
• RQ2 如何利用 MCFs 与线性常微分方程之间的联系，生成一个灵活且系统化的有效协方差函数家族？
• RQ3 设计点配置与模拟误差结构对 MCFs 下精度矩阵的稀疏性与可逆性有何影响？
• RQ4 在大规模仿真场景下，MCFs 在多大程度上可缓解随机克里金插值中的 O(n³) 计算瓶颈？
• RQ5 当 n 较大时，MCFs 的使用是否显著提升数值稳定性，相比标准随机克里金插值？

主要发现

• 所提出的马尔可夫协方差函数（MCFs）确保其精度矩阵（协方差矩阵的逆）具有解析可逆性与稀疏性，将计算复杂度从 O(n³) 降低至 O(n²)。
• 对于模拟误差可忽略的问题，计算成本可进一步降低至 O(n)，因为不再需要数值矩阵求逆。
• MCF 所诱导的精度矩阵具有解析可逆性，显著提升了数值稳定性，有效缓解了大规模场景下病态矩阵带来的问题。
• 该方法建立了 MCFs 与线性常微分方程解之间的直接联系，从而实现了有效协方差函数的系统化与灵活构造。
• 数值实验表明，采用 MCF 的随机克里金插值在大规模问题上同时实现了计算效率与数值稳定性。
• 通过移除设计点形成的子矩阵的行列式遵循与 MCF 参数相关的递归结构，从而可高效计算似然函数与预测方差。