[论文解读] Robust Gaussian Stochastic Process Emulation

Mengyang Gu, Xiaojing Wang+1 more|arXiv (Cornell University)|Aug 16, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 4

一句话总结

本论文提出了一种基于客观先验与后验众数估计的高斯随机过程（GaSP）模拟器鲁棒参数估计方法，特别适用于各向异性相关结构。研究表明，某些参数化方式相较于常用替代方法能显著提升推断的稳定性和准确性，理论与数值证据涵盖马尔可夫（Matérn）、幂指数、有理平方与球状协方差函数，包括含噪声项（nugget parameter）的情形。

ABSTRACT

We consider estimation of the parameters of a Gaussian Stochastic Process (GaSP), in the context of emulation (approximation) of computer models for which the outcomes are real-valued scalars. The main focus is on estimation of the GaSP parameters through various generalized maximum likelihood methods, mostly involving finding posterior modes; this is because full Bayesian analysis in computer model emulation is typically prohibitively expensive. The posterior modes that are studied arise from objective priors, such as the reference prior. These priors have been studied in the literature for the situation of an isotropic covariance function or under the assumption of separability in the design of inputs for model runs used in the GaSP construction. In this paper, we consider more general designs (e.g., a Latin Hypercube Design) with a class of commonly used anisotropic correlation functions, which can be written as a product of isotropic correlation functions, each having an unknown range parameter and a fixed roughness parameter. We discuss properties of the objective priors and marginal likelihoods for the parameters of the GaSP and establish the posterior propriety of the GaSP parameters, but our main focus is to demonstrate that certain parameterizations result in more robust estimation of the GaSP parameters than others, and that some parameterizations that are in common use should clearly be avoided. These results are applicable to many frequently used covariance functions, e.g., power exponential, Mat{é}rn, rational quadratic and spherical covariance. We also generalize the results to the GaSP model with a nugget parameter. Both theoretical and numerical evidence is presented concerning the performance of the studied procedures.

研究动机与目标

• 解决在计算机模型模拟中，GaSP参数最大似然估计存在的不稳定与不一致问题。
• 针对一般输入设计（如拉丁超立方设计）下的各向异性相关函数，开发GaSP的鲁棒参数估计方法。
• 建立非各向同性、乘积结构相关函数下GaSP参数的客观先验（如参考先验）的后验完备性与理论性质。
• 识别并消除导致GaSP模拟中数值不稳定与预测性能差的参数化方式。
• 将结果推广至含噪声项的GaSP模型，以提升数值稳定性，同时不损失预测准确性。

提出的方法

• 采用参考先验作为GaSP参数的客观先验，尤其针对各向异性相关函数中的范围与粗糙度参数。
• 通过后验众数最大化而非完整贝叶斯推断来估计GaSP参数，以降低计算成本。
• 应用由未知范围参数的各向同性相关函数组成的乘积相关结构，固定粗糙度参数。
• 推导并分析在各种渐近情形（如范围参数趋于无穷或零）下的边际似然与后验完备性。
• 将框架推广以包含噪声项，以稳定协方差矩阵求逆并改善数值条件。
• 结合理论分析与数值实验，比较不同参数化方式与协方差族下的估计性能。

实验结果

研究问题

• RQ1 不同各向异性相关函数的参数化方式如何影响计算机模型模拟中GaSP参数估计的稳定性和准确性？
• RQ2 在非各向同性、乘积结构的GaSP模型中，参考先验的理论性质（尤其是后验完备性）为何？
• RQ3 使用客观先验的后验众数估计是否能比标准最大似然或启发式方法获得更鲁棒、更准确的GaSP模拟器？
• RQ4 在各种参数化方式下，引入噪声项如何影响GaSP模拟器的鲁棒性与预测性能？
• RQ5 在GaSP模拟中，哪些常用参数化方式应避免，因其导致数值不稳定或性能差？

主要发现

• 在参考先验下，Matérn、幂指数、有理平方与球状协方差函数的GaSP参数后验完备性已建立。
• 将范围参数与相关函数粗糙度参数置于同一尺度的参数化方式会导致数值不稳定，应避免。
• 特定参数化方式（尤其是能适当地解耦范围与粗糙度参数的）相比标准方法能显著提升估计的鲁棒性。
• 数值实验表明，所提方法相比DiceKriging与DiceOptim R包中的现有方法，能有效降低预测误差。
• 该方法在高维输入空间及非各向同性设计（如拉丁超立方设计）下仍保持鲁棒性。
• 添加噪声项可提升数值稳定性，但参数化方式的选择仍至关重要，否则可能导致预测准确性下降。