[论文解读] Survey of multifidelity methods in uncertainty propagation, inference, and optimization

Benjamin Peherstorfer, Karen Willcox+1 more|arXiv (Cornell University)|Jun 28, 2018

Probabilistic and Robust Engineering Design参考文献 157被引用 28

一句话总结

本文综述了通过结合高保真度与低保真度模型来加速不确定性传播、推理和优化的多保真度方法。它将策略分类为适应、融合与过滤，并强调了在保留高保真度精度的同时利用更廉价模型，可在外循环应用中实现显著的计算加速。

ABSTRACT

In many situations across computational science and engineering, multiple computational models are available that describe a system of interest. These different models have varying evaluation costs and varying fidelities. Typically, a computationally expensive high-fidelity model describes the system with the accuracy required by the current application at hand, while lower-fidelity models are less accurate but computationally cheaper than the high-fidelity model. Outer-loop applications, such as optimization, inference, and uncertainty quantification, require multiple model evaluations at many different inputs, which often leads to computational demands that exceed available resources if only the high-fidelity model is used. This work surveys multifidelity methods that accelerate the solution of outer-loop applications by combining high-fidelity and low-fidelity model evaluations, where the low-fidelity evaluations arise from an explicit low-fidelity model (e.g., a simplified physics approximation, a reduced model, a data-fit surrogate, etc.) that approximates the same output quantity as the high-fidelity model. The overall premise of these multifidelity methods is that low-fidelity models are leveraged for speedup while the high-fidelity model is kept in the loop to establish accuracy and/or convergence guarantees. We categorize multifidelity methods according to three classes of strategies: adaptation, fusion, and filtering. The paper reviews multifidelity methods in the outer-loop contexts of uncertainty propagation, inference, and optimization.

研究动机与目标

• 解决外循环应用（如不确定性量化、推理和优化）中的计算瓶颈，这些应用需要重复调用模型进行评估。
• 通过整合计算成本更低但精度较低的低保真度模型，克服仅使用高保真度模型所带来的高昂成本。
• 基于模型管理策略（适应、融合与过滤）对多保真度方法进行系统性分类。
• 为简化模型、基于投影的模型和数据拟合模型三类低保真度模型提供统一的视角，涵盖其多样化的多保真度方法。
• 突出开放挑战，包括模型不充分性的量化，以及整合模型之外的多种信息源（如实验数据、专家意见）的难题。

提出的方法

• 将多保真度方法分为三类：适应（根据输入选择评估哪些模型）、融合（组合多个模型的输出）和过滤（利用低保真度模型指导高保真度模型的评估）。
• 将高保真度模型与低保真度模型定义为从输入到输出的函数，其中高保真度模型代表目标精度，而低保真度模型提供计算成本更低的近似。
• 将低保真度模型分为三类：简化模型（如简化物理模型）、基于投影的模型（如降阶模型）和数据拟合模型（如代理模型、机器学习近似）。
• 将外循环应用建模为迭代过程，其中输入被送入模型，输出被聚合以生成结果，如最优设计、后验分布或不确定性分布。
• 整合贝叶斯模型平均和模型不充分性量化技术，以考虑模型保真度的不确定性，提升方法的鲁棒性。
• 利用实验设计和信息价值原理，指导在何处以及何时评估不同模型，尤其在多源信息融合场景中。

实验结果

研究问题

• RQ1 多保真度方法能否基于其在外循环应用中的模型管理策略（如适应、融合、过滤）进行系统性分类？
• RQ2 不同类型的低保真度模型——简化模型、基于投影的模型和数据拟合模型——在实现计算加速方面的相对优势与局限性是什么？
• RQ3 多保真度方法在不牺牲精度的前提下，如何提升不确定性传播、统计推断和优化的效率？
• RQ4 如何量化并整合模型不充分性（尤其是高保真度模型本身也只是现实的近似）到多保真度框架中？
• RQ5 可采用哪些策略来智能选择评估不同模型的位置与时机，包括非模型信息源（如实验、专家意见）？

主要发现

• 基于适应、融合与过滤的多保真度方法，通过利用低保真度模型并结合高保真度模型的使用，为外循环应用提供了减少计算成本的系统性方法，同时保持精度。
• 融合策略，特别是采用贝叶斯模型平均或校正因子的方法，能有效组合多个模型的输出，提升预测精度并量化模型不确定性。
• 数据拟合型低保真度模型（如代理模型和机器学习近似）在不确定性量化和优化中尤为有效，因其评估速度快，且可基于高保真度数据进行训练。
• 基于投影的模型（如降阶模型）在系统具有低维内在结构时，能提供显著的计算节省。
• 简化模型虽然精度较低，但在早期设计与分析阶段具有重要价值，因其计算成本低且具有直观的物理基础。
• 尽管已有进展，但在建模模型不充分性、整合多样化信息源（如实验、专家意见）以及将多保真度框架扩展至非模型输入方面，仍存在挑战。