[论文解读] Optimization of High-dimensional Simulation Models Using Synthetic Data

Thomas Bartz–Beielstein, Eva Bartz+2 more|arXiv (Cornell University)|Sep 6, 2020

Simulation Techniques and Applications参考文献 7被引用 4

一句话总结

本文提出 BuBSim，一种用于在高度不确定性下进行医院资源配置规划的离散事件仿真模型，采用合成数据与基于代理模型的优化（SMBO）方法校准超过30个参数。通过结合泊松分布的感染事件与伽马分布的持续时间，并利用 SPOT 进行优化，该方法将预测误差降低了 25%（RMSE 从 9.16 降至 6.81），即使在 COVID-19 大流行期间真实世界数据有限的情况下，也能实现稳健的最优与最差情景分析。

ABSTRACT

Simulation models are valuable tools for resource usage estimation and capacity planning. In many situations, reliable data is not available. We introduce the BuB simulator, which requires only the specification of plausible intervals for the simulation parameters. By performing a surrogate-model based optimization, improved simulation model parameters can be determined. Furthermore, a detailed statistical analysis can be performed, which allows deep insights into the most important model parameters and their interactions. This information can be used to screen the parameters that should be further investigated. To exemplify our approach, a capacity and resource planning task for a hospital was simulated and optimized. The study explicitly covers difficulties caused by the COVID-19 pandemic. It can be shown, that even if only limited real-world data is available, the BuB simulator can be beneficially used to consider worst- and best-case scenarios. The BuB simulator can be extended in many ways, e.g., by adding further resources (personal protection equipment, staff, pharmaceuticals) or by specifying several cohorts (based on age, health status, etc.). Keywords: Synthetic data, discrete-event simulation, surrogate-model-based optimization, COVID-19, machine learning, artificial intelligence, hospital resource planning, prediction tool, capacity planning.

研究动机与目标

• 为解决在 COVID-19 大流行期间医院容量规划中真实世界数据有限的挑战。
• 开发一种在仅提供合理参数区间、无需历史数据的情况下仍能有效运行的仿真框架。
• 利用基于代理模型的优化（SMBO）对超过 30 个仿真参数进行优化，以提高预测准确性。
• 为卫生部门的决策支持提供敏感性分析与情景探索（最优/最差情景）。
• 创建一个灵活且可扩展的仿真器，可集成额外资源与患者群体。

提出的方法

• BuBSim 模型采用离散事件仿真（DES）来模拟患者在医院各状态（如感染、住院、ICU、康复）之间的流动，状态转换由持续时间与概率决定。
• 感染到达时间采用泊松过程建模，91 天内日均新增感染四例。
• 各状态的持续时间采用伽马分布建模，形状与尺度参数作为优化变量处理。
• 通过 SPOT 工具箱实现基于代理模型的优化（SMBO），通过最小化仿真结果与目标结果之间的均方根误差（RMSE），校准超过 30 个模型参数。
• 采用线性回归与回归树进行敏感性分析，识别影响模型误差的关键参数。
• 轮廓图可视化关键参数之间的交互作用（如伽马分布形状参数与住院时间），支持参数空间探索。

实验结果

研究问题

• RQ1 当仅能获得参数的合理区间而无真实世界数据时，是否能够有效优化高维仿真模型？
• RQ2 在缺乏实证数据的情况下，基于代理模型的优化（SMBO）如何提升医院资源配置预测的准确性？
• RQ3 哪些模型参数对 ICU 和住院床位需求预测误差的影响最大？
• RQ4 合成数据与仿真在多大程度上能够支持疫情规划中的稳健最优与最差情景分析？
• RQ5 敏感性分析与可视化工具如何支持复杂仿真模型的解读，并指导参数调优？

主要发现

• 经 SMBO 优化的 BuBSim 模型将床位需求预测的均方根误差（RMSE）降低了 25.6%（从 9.16 降至 6.81），显著提升了预测准确性。
• 回归分析表明，缩短平均住院前天数（x₁）并延长康复持续时间（x₂）可降低模型误差。
• 伽马分布的形状参数（x₁₆）被确定为关键因素，较高值可改善模型拟合度。
• 入院时需 ICU 通气的患者比例（x₁₉）被识别为关键参数，其值越高，误差越低。
• 回归树分析再次确认了上述四个参数（x₁, x₂, x₁₆, x₁₉）为最重要参数，强化了敏感性分析的稳健性。
• 轮廓图可视化了形状参数（x₁₆）与住院时间（x₁）之间的权衡关系，表明当 x₁₆ 较高且 x₁ 较低时性能最优。