[论文解读] Neural Network Prior Mean for Particle Accelerator Injector Tuning

Connie Xu, Ryan Roussel+1 more|arXiv (Cornell University)|Nov 16, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出在粒子加速器注入器调优的贝叶斯优化中，使用神经网络代理模型作为高斯过程的先验均值。通过引入物理信息驱动、执行速度快的神经网络先验，该方法显著加速了初始优化的收敛速度——尤其当代理模型与真实值相关性良好时。结果表明，即使中等准确度的代理模型，其性能也优于恒定先验；而最准确的模型可达到与真实代理模型相当的性能。

ABSTRACT

Bayesian optimization has been shown to be a powerful tool for solving black box problems during online accelerator optimization. The major advantage of Bayesian based optimization techniques is the ability to include prior information about the problem to speed up optimization, even if that information is not perfectly correlated with experimental measurements. In parallel, neural network surrogate system models of accelerator facilities are increasingly being made available, but at present they are not widely used in online optimization. In this work, we demonstrate the use of an approximate neural network surrogate model as a prior mean for Gaussian processes used in Bayesian optimization in a realistic setting. We show that the initial performance of Bayesian optimization is improved by using neural network surrogate models, even when surrogate models make erroneous predictions. Finally, we quantify requirements on surrogate prediction accuracy to achieve optimization performance when solving problems in high dimensional input spaces.

研究动机与目标

• 通过代理模型引入物理知识先验，提升高维加速器调优中贝叶斯优化的样本效率。
• 探究基于神经网络的代理模型是否可作为高斯过程中在线加速器优化的有效先验均值函数。
• 量化代理模型所需达到的准确度水平，以实现贝叶斯优化性能的可测量提升。
• 在真实加速器调优场景中，比较固定神经网络先验与恒定先验及真实代理先验均值的性能表现。
• 评估高维输入空间中代理模型复杂度与优化收敛速度之间的权衡关系。

提出的方法

• 在LCLS注入器的模拟数据上训练了两个复杂度不同的神经网络代理模型，训练数据密度分别为3^9与4^9个样本。
• 将更准确的神经网络作为自定义先验均值函数，嵌入高斯过程模型以实现贝叶斯优化。
• 修改标准贝叶斯优化流程，在每一步重新训练核超参数的同时引入神经网络先验均值。
• 采用上置信度界（UCB）采集函数，β值设为2.0和0.1，以指导下一评估点的选择。
• 以注入器模型中三个随机数据点初始化优化过程，并在50次迭代内追踪最大目标值。
• 对比四种先验条件下的优化性能：恒定均值、真实代理均值，以及两个神经网络先验（Model1：准确度较低，Model2：准确度较高）。

实验结果

研究问题

• RQ1 神经网络代理模型能否作为贝叶斯优化中高斯过程的有效先验均值函数，用于加速器调优？
• RQ2 神经网络代理模型的准确度在高维输入空间中如何影响贝叶斯优化的收敛速率？
• RQ3 与恒定先验均值函数相比，使用固定神经网络先验是否能提升优化性能？
• RQ4 代理模型准确度达到何种水平时，优化性能可开始接近真实真实代理的性能？
• RQ5 由于模型不准确，固定神经网络先验的性能是否会随时间退化？这种退化是否可通过再训练缓解？

主要发现

• 在50次优化迭代后，更准确的神经网络先验（Model2）始终优于恒定先验和准确度较低的神经网络先验（Model1）。
• Model1初期优于恒定先验，但在约第30次迭代后趋于停滞，最终被恒定先验超越，表明其性能因模型不准确而退化。
• Model2的优化性能与真实代理均值相当，证明训练良好的神经网络先验可高度逼近真实先验。
• 结果表明，即使中等准确度的代理模型（与真实值高度相关），也能显著提升初始优化速度与收敛性能。
• 本研究证实，即使不准确的固定先验均值，长期运行下仍可能降低性能，提示在长期优化中需考虑再训练或自适应先验策略。
• 研究结果支持将神经网络代理模型作为贝叶斯优化中有效先验均值的使用，尤其当其与实验或仿真得到的真实值高度相关时。