[论文解读] Numerical studies of the metamodel fitting and validation processes

Bertrand Iooss, Loïc Boussouf+2 more|arXiv (Cornell University)|Jan 7, 2010

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用 60

一句话总结

本文提出了在计算机实验中针对高斯过程元模型构建的最优设计策略，重点关注初始的均匀设计与顺序验证。研究证明，通过最小化拉丁超立方采样中的环绕差异性可显著提升元模型的预测性能，并提出一种顺序验证设计方法，通过有策略地将测试点放置于未探索区域，从而减少所需测试点数量，优于随机采样，尤其在核安全模拟等高维问题中表现更优。

ABSTRACT

Complex computer codes, for instance simulating physical phenomena, are often too time expensive to be directly used to perform uncertainty, sensitivity, optimization and robustness analyses. A widely accepted method to circumvent this problem consists in replacing cpu time expensive computer models by cpu inexpensive mathematical functions, called metamodels. In this paper, we focus on the Gaussian process metamodel and two essential steps of its definition phase. First, the initial design of the computer code input variables (which allows to fit the metamodel) has to honor adequate space filling properties. We adopt a numerical approach to compare the performance of different types of space filling designs, in the class of the optimal Latin hypercube samples, in terms of the predictivity of the subsequent fitted metamodel. We conclude that such samples with minimal wrap-around discrepancy are particularly well-suited for the Gaussian process metamodel fitting. Second, the metamodel validation process consists in evaluating the metamodel predictivity with respect to the initial computer code. We propose and test an algorithm which optimizes the distance between the validation points and the metamodel learning points in order to estimate the true metamodel predictivity with a minimum number of validation points. Comparisons with classical validation algorithms and application to a nuclear safety computer code show the relevance of this new sequential validation design.

研究动机与目标

• 确定在计算成本较高的情况下，用于拟合高斯过程元模型的最佳初始设计。
• 解决在最小化额外模拟次数的前提下，准确验证元模型的挑战。
• 在标准验证方法失效的高维输入空间中，改进元模型预测性能的估计。
• 通过最小化所需测试点数量，降低元模型验证中的不确定性。
• 开发一种优于经典蒙特卡洛方法与留一法的稳健顺序验证策略。

提出的方法

• 采用具有最小环绕L²差异性的最优拉丁超立方采样（LHS），以增强元模型拟合的均匀填充特性。
• 使用带线性回归项和广义指数协方差函数的高斯过程（Gp）建模方法。
• 采用一种顺序验证设计算法，通过最大化测试点与训练点之间的距离，聚焦于未探索区域来选择测试点。
• 利用系数 $ Q_2 $ 评估元模型预测性能，并对比顺序与随机测试设计的表现。
• 使用包含1000个点的参考测试集计算基准 $ Q_2^{ ext{ref}} $，以衡量验证精度。
• 在解析函数及一个实际的核安全代码（CATHARE2，含53个输入变量）上进行数值实验。

实验结果

研究问题

• RQ1 在多种最优LHS变体中，哪类初始设计能产生最具预测性的高斯过程元模型？
• RQ2 与经典蒙特卡洛方法和留一法相比，顺序验证设计在准确性和效率方面表现如何？
• RQ3 在高维设置下，达到可靠元模型预测性能估计所需的最少测试点数量是多少？
• RQ4 在初始设计中最小化环绕差异性是否能显著提升Gp元模型的性能？
• RQ5 与随机采样相比，顺序验证设计是否能降低 $ Q_2 $ 估计的方差与偏差，尤其是在高维问题中？

主要发现

• 具有最小环绕差异性的最优拉丁超立方样本可显著提升高斯过程元模型的预测性能。
• 对于核安全代码（CATHARE2），顺序验证设计在 $ N_{ ext{test}} ightarrow 40 $ 时即可实现准确的 $ Q_2 $ 估计，而随机采样则表现出高方差与不稳定性。
• 对于解析函数，顺序设计在 $ N_{ ext{test}} ightarrow 25 $ 时即可提供可靠的 $ Q_2 $ 估计，优于粗略的蒙特卡洛采样。
• 由于输入维度较高（$ d = 53 $），经典蒙特卡洛测试采样导致 $ Q_2 $ 估计高度不稳定，常产生误导性结果。
• 当训练样本量较小时，留一法验证会低估元模型的预测性能。
• 所提出的顺序验证设计通过有策略地将测试点放置于输入空间的未探索区域，显著降低了估计误差与不确定性，尤其在高维问题中表现更优。