[论文解读] Multilevel Optimization for Policy Design with Agent-Based Epidemic Models

Jan-Hendrik Niemann, Samuel Uram+3 more|arXiv (Cornell University)|Apr 5, 2023

COVID-19 epidemiological studies被引用 1

一句话总结

本文提出了一种异构多层级优化框架，将高保真代理模型（ABM）与粗粒度常微分方程（ODE）模型相结合，用于设计流行病政策中的最优非药物干预措施。通过使用 ODE 模型对基于 ABM 的优化进行预处理，该方法加速了收敛并降低了计算成本，在仅三个迭代内便实现了目标函数值 90% 的降低（从约 1189 降至约 157），且在早期收敛阶段优于标准的不精确梯度下降法。

ABSTRACT

Epidemiological models can not only be used to forecast the course of a pandemic like COVID-19, but also to propose and design non-pharmaceutical interventions such as school and work closing. In general, the design of optimal policies leads to nonlinear optimization problems that can be solved by numerical algorithms. Epidemiological models come in different complexities, ranging from systems of simple ordinary differential equations (ODEs) to complex agent-based models (ABMs). The former allow a fast and straightforward optimization, but are limited in accuracy, detail, and parameterization, while the latter can resolve spreading processes in detail, but are extremely expensive to optimize. We consider policy optimization in a prototypical situation modeled as both ODE and ABM, review numerical optimization approaches, and propose a heterogeneous multilevel approach based on combining a fine-resolution ABM and a coarse ODE model. Numerical experiments, in particular with respect to convergence speed, are given for illustrative examples.

研究动机与目标

• 为解决在流行病政策设计中优化复杂代理模型（ABMs）所导致的高计算成本问题。
• 克服传统优化方法在 ABMs 上应用时的局限性，后者缺乏明确定义的导数且计算成本过高。
• 开发一种多层级框架，利用粗粒度 ODE 模型对精细分辨率的 ABM 进行预处理，以提升收敛速度与效率。
• 评估所提方法在收敛性与计算成本方面相较于标准优化算法的性能表现。
• 证明基于 ABM 的政策优化可产生显著不同于 ODE 方法且更精确的干预措施。

提出的方法

• 该方法采用异构多层级优化策略，结合精细分辨率的 ABM（GERDA 或 H/ABM）与粗粒度 ODE 模型，作为梯度近似的代理模型。
• 利用粗粒度 ODE 模型的海森矩阵作为预处理矩阵，以改善 ABM 优化循环中梯度下降算法的收敛性。
• 该算法通过求解一系列优化子问题，迭代地优化政策，其中 ODE 模型快速近似 ABM 的目标函数景观。
• 在 ABM 上应用不精确梯度下降法，梯度估计通过有限差分或采样获得，同时 ODE 模型引导搜索方向并减少‘锯齿’行为。
• 该方法采用两级结构：粗粒度模型提供预处理矩阵，而精细模型在候选点处评估真实的目标函数与梯度。
• 数值实验将多层级方法与不精确梯度下降法进行比较，以收敛速率与目标函数降低量作为性能指标。

实验结果

研究问题

• RQ1 粗粒度 ODE 模型能否有效预处理高保真 ABM，以加速流行病干预政策优化中的收敛？
• RQ2 在优化 ABMs 时，与标准的不精确梯度下降法相比，多层级优化方法在收敛速度与计算成本方面表现如何？
• RQ3 从 ABMs 导出的最优政策与从 ODE 模型导出的政策在多大程度上存在差异？这对政策设计有何影响？
• RQ4 预处理矩阵的质量（即粗粒度与精细模型海森矩阵的匹配程度）如何影响多层级算法的收敛速率？
• RQ5 在使用多层级优化与直接 ABM 优化时，计算效率与解的精度之间存在何种权衡？

主要发现

• 该多层级优化方法在 GERDA ABM 上应用时，仅用三个迭代便将目标函数值降低了 90%，从约 1189 降至 157。
• 该方法在优化初期显著优于不精确梯度下降法，由于更优的预处理，能更快收敛至近似最优解。
• 实验测得多层级方法的收敛率分别为：H/ABM 的 ρODE, fine = 0.7433，GERDA 的 ρODE, fine = 0.1934，表明在 H/ABM 上表现强劲，在 GERDA 上则实现中等但稳定的收敛。
• 粗粒度 ODE 模型的海森矩阵作为有效预处理矩阵，减少了‘锯齿’行为并提升了收敛性，尤其在初始迭代阶段效果显著。
• 直接从 ABM（如 GERDA）导出的最优政策与从 SIR 类型 ODE 模型或 H/ABM 导出的政策存在显著差异，凸显了使用高保真模型进行精确政策设计的必要性。
• 尽管理论上具备加速潜力，但多层级方法的整体效率仍受限于在接近最优解时对高置信度梯度估计的需求，这需要大量 ABM 模拟。