[论文解读] Some properties of nested Kriging predictors

François Bachoc, Nicolas Durrande+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 3被引用 7

一句话总结

本文分析了大规模计算机实验中克里金子模型聚合方法，表明基于方差的标准聚合方法可能不一致。相比之下，嵌套克里金预测器通过考虑子模型之间的相关性，确保了一致性，实现了精确的条件分布和后验协方差的高效计算，并可扩展至通用克里金法和测量误差模型。

ABSTRACT

Kriging is a widely employed technique, in particular for computer experiments, in machine learning or in geostatistics. An important challenge for Kriging is the computational burden when the data set is large. This article focuses on a class of methods aiming at decreasing this computational cost, consisting in aggregating Kriging predictors based on smaller data subsets. It proves that aggregation methods that ignore the covariancebetween sub-models can yield an inconsistent final Kriging prediction. In contrast, a theoretical study of the nested Kriging method shows additional attractive properties for it: First, this predictor is consistent, second it can be interpreted as an exact conditional distribution for a modified process and third, the conditional covariances given the observations can be computed efficiently. This article also includes a theoretical and numerical analysis of how the assignment of the observation points to the sub-models can affect the prediction ability of the aggregated model. Finally, the nested Kriging method is extended to measurement errors and to universal Kriging.

研究动机与目标

• 通过开发可扩展的聚合方法，解决大规模数据集上完整克里金法的计算不可行性。
• 识别仅基于方差的聚合方法的局限性，这些方法忽略了子模型之间的相关性，导致预测不一致。
• 建立嵌套克里金预测器（NPAE）在大规模数据下的理论一致性与计算效率。
• 在保持计算效率的前提下，将嵌套克里金框架扩展至处理测量误差和通用克里金法。
• 研究观测点分配至子模型的方式对预测精度和模型性能的影响。

提出的方法

• 提出一种嵌套克里金预测器（NPAE），通过分层结构显式建模子模型之间的交叉协方差，实现子模型的聚合。
• 将聚合预测器表示为子模型的加权组合，权重由子模型预测的逆协方差矩阵推导得出。
• 证明在弱正则性条件下，嵌套克里金预测器具有一致性，而基于方差的聚合方法则不具备。
• 表明嵌套克里金预测器对应于一个修改后的高斯过程先验的精确条件期望。
• 为聚合预测器的条件方差提供闭式表达式，从而实现高效的后验抽样。
• 通过在聚合步骤中建模恒定均值，将方法扩展至通用克里金法，并推导出更新的权重与方差公式。

实验结果

研究问题

• RQ1 当观测数量较大时，克里金子模型聚合方法能否产生一致的预测？
• RQ2 为何仅基于子模型方差的标准聚合方法无法保持一致？
• RQ3 嵌套克里金预测器（NPAE）具备哪些理论性质，以确保一致性和计算效率？
• RQ4 观测点分配至子模型的方式如何影响聚合模型的预测精度？
• RQ5 嵌套克里金框架能否在不增加计算成本的前提下，扩展至通用克里金法和测量误差模型？

主要发现

• 忽略子模型之间相关性的聚合方法不一致，因其未能考虑预测器之间的依赖关系。
• 嵌套克里金预测器具有一致性，并对应于一个修改后高斯过程先验的精确条件期望。
• 嵌套克里金预测器的条件方差可高效计算，从而支持后验抽样与不确定性量化。
• 当 $ p hicksim n^{1/2} $ 时，该方法的计算复杂度为 $ O(n^3/p^2 + n^2 + p^3) $，存储需求为 $ O(n) $，具有良好的可扩展性。
• 将嵌套克里金预测器扩展至通用克里金法和测量误差模型后，其一致性与效率依然保持。
• 数值证据表明，与随机分配相比，将观测点聚类分配至子模型可提升预测性能。