[论文解读] Transfer learning to model inertial confinement fusion experiments

Kelli Humbird, J. L. Peterson+1 more|arXiv (Cornell University)|Dec 14, 2018

Laser-Plasma Interactions and Diagnostics参考文献 22被引用 6

一句话总结

本文提出一种基于深度神经网络的分层迁移学习方法，用于将低保真度惯性约束聚变（ICF）模拟校准至高保真度模拟和奥MEGA激光装置的实验数据，显著提升了在实验数据极少情况下的ICF实验预测精度。该方法通过学习不同保真度层级之间的非线性差异，实现了数据驱动的设计优化，其预测性能优于仅使用模拟的方法。

ABSTRACT

Inertial confinement fusion (ICF) experiments are designed using computer simulations that are approximations of reality, and therefore must be calibrated to accurately predict experimental observations. In this work, we propose a novel nonlinear technique for calibrating from simulations to experiments, or from low fidelity simulations to high fidelity simulations, via "transfer learning". Transfer learning is a commonly used technique in the machine learning community, in which models trained on one task are partially retrained to solve a separate, but related task, for which there is a limited quantity of data. We introduce the idea of hierarchical transfer learning, in which neural networks trained on low fidelity models are calibrated to high fidelity models, then to experimental data. This technique essentially bootstraps the calibration process, enabling the creation of models which predict high fidelity simulations or experiments with minimal computational cost. We apply this technique to a database of ICF simulations and experiments carried out at the Omega laser facility. Transfer learning with deep neural networks enables the creation of models that are more predictive of Omega experiments than simulations alone. The calibrated models accurately predict future Omega experiments, and are used to search for new, optimal implosion designs.

研究动机与目标

• 解决由于极端条件下物理模型未经验证，导致惯性约束聚变（ICF）计算机模拟不准确的挑战。
• 通过利用迁移学习，降低创建ICF实验高精度预测模型的计算成本。
• 开发一个整合低、中、高保真度模拟与实验数据的框架，以实现更优的模型校准。
• 通过捕捉激光脉冲与胶囊几何结构之间的非线性相互作用，实现ICF内爆设计的数据驱动优化。
• 在真实奥MEGA激光装置数据上验证该方法，证明其预测实验结果的能力优于仅使用模拟的方法。

提出的方法

• 首先在大规模低保真度模拟数据集上训练深度神经网络。
• 冻结训练网络的前几层，以保留通用特征表示（如模拟输出中的边缘、模式等）。
• 仅在较小的高保真度模拟数据集上微调网络的最后几层，以使模型适应更高精度的物理规律。
• 进一步在奥MEGA激光装置的实验数据上进行微调，构建真实实验的最终模拟器。
• 采用分层迁移学习，按从低到高保真度、再到实验的顺序依次校准，最大限度减少对昂贵数据的依赖。
• 采用能够学习模拟结果与实验结果之间复杂非线性差异的深度神经网络架构。

实验结果

研究问题

• RQ1 迁移学习能否有效降低将ICF模拟模型校准至实验结果所需的数据和计算成本？
• RQ2 与直接从模拟到实验的校准相比，分层迁移学习在预测准确性方面有何提升？
• RQ3 在低保真度模拟上训练的模型，其泛化能力在多大程度上可扩展至高保真度模拟和真实实验？
• RQ4 经过校准的模型能否发现传统物理引导参数扫描无法找到的最优内爆设计？
• RQ5 当模型外推至训练数据范围之外时，其预测结果的鲁棒性如何？

主要发现

• 迁移学习模型在奥MEGA实验上的预测精度高于仅使用模拟的结果，证明了该校准方法的有效性。
• 经实验校准的模型成功预测了未来奥MEGA实验的结果，验证了其泛化能力。
• 该模型识别出最优内爆设计，包括增加胶囊厚度和改进脉冲整形（如前导脉冲和平台段），与独立的实验分析结果一致。
• 基于神经网络的优化方法捕捉到了激光脉冲参数与胶囊几何结构之间的非线性相互作用，实现了超越传统物理引导方法的同步调优。
• 两种不同的数据驱动方法——本迁移学习模型与基于幂律的模型——得出了相似的最优设计选择，进一步增强了研究结果的稳健性。
• 分层迁移学习框架实现了对高保真度模拟和实验的高精度模拟，且仅需极少的实验数据，显著降低了计算成本。