[论文解读] Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities

Loïc Brevault, Mathieu Balesdent+1 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 55被引用 5

一句话总结

本文全面比较了适用于低、高保真度模型之间关系可变（线性、非线性、相关性变化）的基于高斯过程的多保真度建模技术。在分析问题和航空航天工程问题中评估了AR1、LMC、NARGP和DGP方法，结果表明：在复杂非线性关系下，非线性方法（如DGP）优于线性方法；而在高保真度数据有限和高维问题中，线性方法仍表现出更强的鲁棒性。

ABSTRACT

The design process of complex systems such as new configurations of aircraft or launch vehicles is usually decomposed in different phases which are characterized for instance by the depth of the analyses in terms of number of design variables and fidelity of the physical models. At each phase, the designers have to compose with accurate but computationally intensive models as well as cheap but inaccurate models. Multi-fidelity modeling is a way to merge different fidelity models to provide engineers with accurate results with a limited computational cost. Within the context of multi-fidelity modeling, approaches relying on Gaussian Processes emerge as popular techniques to fuse information between the different fidelity models. The relationship between the fidelity models is a key aspect in multi-fidelity modeling. This paper provides an overview of Gaussian process-based multi-fidelity modeling techniques for variable relationship between the fidelity models (e.g., linearity, non-linearity, variable correlation). Each technique is described within a unified framework and the links between the different techniques are highlighted. All the approaches are numerically compared on a series of analytical test cases and four aerospace related engineering problems in order to assess their benefits and disadvantages with respect to the problem characteristics.

研究动机与目标

• 评估并比较在低保真度与高保真度模型之间存在不同关系（线性、非线性、相关性变化）时的基于高斯过程的多保真度技术。
• 评估不同多保真度建模方法在预测精度、不确定性量化和计算成本之间的性能权衡。
• 识别在高保真度评估成本高昂且保真度关系事先未知的工程设计问题中最合适的建模方法。
• 研究输入维度和高保真度样本数量有限对模型性能和鲁棒性的影响。
• 根据问题特征（如非线性程度、相关性、数据可用性）为实践者提供选择合适多保真度技术的指导。

提出的方法

• 采用统一框架描述AR1、LMC、NARGP和DGP为具有可变保真度关系的基于高斯过程的多保真度模型。
• 应用协同克里金法和分层高斯过程结构融合低保真度与高保真度模型输出，通过共享或嵌套的协方差函数建模保真度之间的映射关系。
• 采用贝叶斯推断通过最大化边缘似然估计超参数，实现不确定性感知的预测。
• 使用均负对数似然（MNLL）、均方误差（MSE）以及4个航空航天和4个分析测试案例中的预测精度等指标比较模型性能。
• 评估NARGP的嵌套与非嵌套训练策略，以分析其对数据结构的敏感性。
• 分析维度和样本数量对模型性能的影响，尤其关注高维设计空间中的维度灾难问题。

实验结果

研究问题

• RQ1 在多样化的测试问题中，线性方法（AR1、LMC）与非线性方法（NARGP、DGP）在预测精度和不确定性量化方面如何比较？
• RQ2 与线性方法相比，高保真度样本数量有限时，非线性多保真度模型的性能受到何种影响？
• RQ3 输入空间的维度如何影响线性与非线性多保真度建模技术的相对性能？
• RQ4 在何种情况下，信息不对称性（高保真度更精确）会使AR1方法在性能上优于LMC的协同克里金法？
• RQ5 训练策略选择（嵌套 vs. 非嵌套）在真实工程应用中对NARGP性能的影响程度如何？

主要发现

• 当保真度之间的关系高度非线性或弱相关时，非线性方法（如DGP和NARGP）显著优于线性模型（如AR1和LMC）。
• 在高保真度样本有限的情况下，线性方法（AR1和LMC）由于结构更简单、需估计的超参数更少，通常表现优于非线性方法。
• DGP在似然（MNLL）和不确定性量化方面始终表现最佳，尤其在建模复杂非线性关系方面优势明显。
• 在高维问题中，增加高保真度样本带来的性能提升逐渐减弱，表明维度灾难即使在数据增加的情况下仍限制性能增益。
• 线性方法在高维测试案例中表现出更强的鲁棒性和更好的泛化能力，即使高保真度数据稀疏，也归因于其结构更简单。
• 不存在普遍最优的方法；方法选择取决于问题的非线性程度、相关性强弱以及可获得的高保真度数据——强调需根据问题特征进行方法选择。