[论文解读] Nonstationary Gaussian Process Surrogates

Annie Sauer, Andrew I. Cooper+1 more|arXiv (Cornell University)|May 30, 2023

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文全面综述了计算机实验中非平稳高斯过程（GP）代理模型的研究，评估了包括非平稳核函数、局部GP、分枝GP以及结合Vecchia近似的深度GP在内的多种方法。在8维卫星阻力模拟中，采用椭圆切片采样与Vecchia近似的全贝叶斯深度GP（DGP ESS）在预测精度和不确定性量化方面表现最佳，优于变分推断与局部GP方法。

ABSTRACT

We provide a survey of nonstationary surrogate models which utilize Gaussian processes (GPs) or variations thereof, including nonstationary kernel adaptations, partition and local GPs, and spatial warpings through deep Gaussian processes. We also overview publicly available software implementations and conclude with a bake-off involving an 8-dimensional satellite drag computer experiment. Code for this example is provided in a public git repository.

研究动机与目标

• 为解决平稳GP在建模计算机模拟中常见的非平稳响应曲面时的局限性。
• 评估并比较非平稳GP代理方法在预测精度与不确定性量化（UQ）方面的表现。
• 展示全贝叶斯推断在真实世界、高维模拟中非平稳GP模型中的有效性。
• 通过包含100万次运行的大规模8维卫星阻力模拟，提供可复现的基准测试。
• 强调不确定性量化在优化、安全分析与校准等下游任务中的重要性。

提出的方法

• 非平稳核函数的改进，允许在空间上变化的协方差结构，超越成对距离的限制。
• 局部近似GP（laGP）采用分而治之策略，利用局部协方差矩阵来建模非平稳性。
• 分枝GP（TGP）将输入空间划分为具有独立GP模型的区域，支持轴对齐的模式跃迁。
• 深度高斯过程（DGP）结合椭圆切片采样（ESS）与Vecchia近似，实现可扩展的全贝叶斯推断。
• 在平稳GP中使用缩放-Vecchia近似（SVEC）以提升可扩展性并作为基线比较。
• 在GPflux中实现双重随机变分推断（DSVI）用于对比，尽管其不确定性量化性能有限。

Figure 1: Various surrogate fits to the piecewise Higdon function. Training data is observed without noise, but each surrogate is tasked with learning the noise level. The lower right panel shows elliptical slice samples of the DGP’s latent layer, stretching inputs in the left region and compressing

实验结果

研究问题

• RQ1 在高维、真实世界的计算机模拟中，非平稳GP代理模型在预测精度与不确定性量化方面表现如何？
• RQ2 全贝叶斯推断对非平稳GP模型中不确定性量化与预测性能有何影响？
• RQ3 为何在低数据、高信号的计算机模拟场景下，DGP中的变分推断（DSVI）表现欠佳？
• RQ4 局部GP或分枝GP方法能否有效捕捉复杂物理模拟中的模式跃迁？
• RQ5 输入预缩放对不同非平稳GP方法的代理模型性能有何影响？

主要发现

• DGP ESS模型在均方根误差（RMSE）与连续秩概率评分（CRPS）上均达到最低，表明其具备更优的预测精度与不确定性量化能力。
• 基于DSVI的DGP在RMSE与CRPS上表现均较差，可能归因于变分推断倾向于低估不确定性，且在低数据、高信号场景下拟合效果不佳。
• 局部GP（laGP）表现良好，但被采用SVEC的平稳GP所超越，表明其为大规模数据设计的架构在中等规模、非平稳模拟中可能并不适用。
• 分枝GP表现强劲，尤其在捕捉由第八个输入（面板倾角）驱动的模式跃迁方面，表明轴对齐划分与哈勃望远镜模拟中的物理动力学高度契合。
• TGP与DGP ESS中的全贝叶斯推断实现了更可靠的不确定性量化，凸显了在下游决策中一致不确定性传播的重要性。
• 使用SVEC模型获得的长度尺度进行输入预缩放，显著提升了所有方法的性能，证实其作为标准预处理步骤的价值。

Figure 2: Left: Example of a tree generated by TGP on an LGBB dataset. Splits are made on speed (mach) and angle of attack (alpha). Right: Predictive surface plot of the rocket’s lift. The partition on the input space generated by the tree is shown on the bottom panel, with colors corresponding to r