[论文解读] Sequential Learning of Active Subspaces

Nathan Wycoff, Mickaël Binois+1 more|arXiv (Cornell University)|Jan 1, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用 7

一句话总结

本文提出了一种基于高斯过程（GP）代理模型的主动子空间估计的闭式解法，消除了对有限差分近似的需求。通过从GP核函数中解析推导主动子空间矩阵，该方法实现了基于获取函数的高效序列化设计，在显著减少昂贵的黑箱评估次数的同时，量化了敏感性分析中的不确定性。

ABSTRACT

In recent years, active subspace methods (ASMs) have become a popular means of performing subspace sensitivity analysis on black-box functions. Naively applied, however, ASMs require gradient evaluations of the target function. In the event of noisy, expensive, or stochastic simulators, evaluating gradients via finite differencing may be infeasible. In such cases, often a surrogate model is employed, on which finite differencing is performed. When the surrogate model is a Gaussian process (GP), we show that the ASM estimator is available in closed form, rendering the finite-difference approximation unnecessary. We use our closed-form solution to develop acquisition functions focused on sequential learning tailored to sensitivity analysis on top of ASMs. We also show that the traditional ASM estimator may be viewed as a method of moments estimator for a certain class of GPs. We demonstrate how uncertainty on GP hyperparameters may be propagated to uncertainty on the sensitivity analysis, allowing model-based confidence intervals on the active subspace. Our methodological developments are illustrated on several examples. Supplementary files for this article are available online.

研究动机与目标

• 解决在高维、昂贵或噪声较大的模拟器中估计主动子空间的挑战，尤其当梯度计算不可行时。
• 通过利用GP代理模型，消除对有限差分近似进行梯度估计的依赖。
• 开发用于序列化设计的获取函数，通过更少的函数评估次数提升主动子空间估计的性能。
• 通过传播GP超参数的不确定性，量化主动子空间估计中的不确定性。
• 通过矩方法的解释框架，将经典主动子空间方法与GP建模统一起来。

提出的方法

• 在使用常见协方差核函数（如平方指数核）的GP模型下，推导主动子空间矩阵的闭式表达式。
• 将经典主动子空间估计器重新解释为特定类GP模型下的矩方法估计器。
• 基于Hessian近似矩阵的迹、方差和行列式构造获取函数，以指导序列采样。
• 通过蒙特卡洛采样或解析近似方法，将GP超参数的不确定性传播至主动子空间估计中。
• 采用序列化设计，迭代选择能减少主动子空间估计不确定性的信息丰富输入点。
• 在合成数据和真实世界模拟器（包括明尼苏达州新冠模拟器）上验证该方法，以子空间距离作为评估指标。

实验结果

研究问题

• RQ1 在GP模型下，经典主动子空间估计器能否被正式关联到矩方法框架？
• RQ2 当使用GP代理模型时，主动子空间矩阵是否存在闭式解，从而避免有限差分近似？
• RQ3 基于GP不确定性的获取函数能否提升序列化学习中主动子空间估计的效率？
• RQ4 如何将GP超参数的不确定性传播至估计的主动子空间中？
• RQ5 所提出的方法能否减少实现准确主动子空间估计所需的昂贵模拟器评估次数？

主要发现

• 正式证明经典主动子空间估计器是特定类GP模型下的矩方法估计器，建立了ASMs与GP回归之间的理论联系。
• 在常见GP核函数下推导出主动子空间矩阵的闭式表达式，消除了对代理模型上蒙特卡洛有限差分的依赖。
• 基于迹、方差和行列式的序列化获取函数在更少函数评估次数下，显著降低了子空间误差，优于随机采样。
• 在明尼苏达州新冠模拟器上，所提方法的子空间误差低于随机采样，其中基于方差的获取函数表现最佳。
• 成功地将GP超参数的不确定性传播至主动子空间，实现了基于模型的置信区间，用于敏感性分析。
• 该方法显著减少了实现准确主动子空间估计所需的昂贵黑箱评估次数，尤其在梯度不可用或存在噪声时优势明显。