[论文解读] Optimal Policies for a Pandemic: A Stochastic Game Approach and a Deep Learning Algorithm

Yao Xuan, Robert Balkin+3 more|arXiv (Cornell University)|Dec 12, 2020

COVID-19 epidemiological studies参考文献 22被引用 6

一句话总结

本文提出了一种基于随机微分博弈的多区域SEIR模型，以推导最优大流行病政策，整合了各区域的社会与卫生干预措施。通过增强的深度虚构博弈算法，克服了高维计算挑战，并表明政策有效性在很大程度上取决于公众配合度与区域协调性；模拟结果显示，当配合度达到99%时，可实施较宽松的封锁措施，同时有效控制纽约州、新泽西州和宾夕法尼亚州的疫情爆发。

ABSTRACT

Game theory has been an effective tool in the control of disease spread and in suggesting optimal policies at both individual and area levels. In this paper, we propose a multi-region SEIR model based on stochastic differential game theory, aiming to formulate optimal regional policies for infectious diseases. Specifically, we enhance the standard epidemic SEIR model by taking into account the social and health policies issued by multiple region planners. This enhancement makes the model more realistic and powerful. However, it also introduces a formidable computational challenge due to the high dimensionality of the solution space brought by the presence of multiple regions. This significant numerical difficulty of the model structure motivates us to generalize the deep fictitious algorithm introduced in [Han and Hu, MSML2020, pp.221--245, PMLR, 2020] and develop an improved algorithm to overcome the curse of dimensionality. We apply the proposed model and algorithm to study the COVID-19 pandemic in three states: New York, New Jersey, and Pennsylvania. The model parameters are estimated from real data posted by the Centers for Disease Control and Prevention (CDC). We are able to show the effects of the lockdown/travel ban policy on the spread of COVID-19 for each state and how their policies affect each other.

研究动机与目标

• 开发一个现实的、多区域SEIR模型，整合多个区域规划者制定的社会与卫生政策。
• 解决高维随机微分博弈在大流行病政策优化中的计算不可行性问题。
• 设计一种增强的深度虚构博弈算法，能够应对多区域政策博弈中的维度灾难问题。
• 将该模型与算法应用于纽约州、新泽西州和宾夕法尼亚州新冠大流行的真实案例研究。
• 提供关于政策配合度与区域相互依赖性如何塑造最优封锁策略的定性洞察。

提出的方法

• 构建一个随机多区域SEIR模型，将流行病动态与多个区域规划者的政策决策耦合。
• 在随机微分博弈框架下引入纳什均衡框架，以模拟各区域之间的战略互动。
• 将深度虚构博弈（DFP）算法推广至处理异构、高维的政策空间，并提升收敛性。
• 使用美国疾控中心（CDC）的真实数据估计模型参数，包括传播率与政策有效性。
• 采用成本-收益权衡函数，使规划者在感染/死亡损失与经济封锁成本之间取得平衡。
• 应用增强的DFP算法，数值计算三个州之间的纳什均衡政策。

实验结果

研究问题

• RQ1 当每个区域独立优化其策略时，区域政策在大流行期间如何相互作用？
• RQ2 公众配合度（通过参数θ建模）对最优封锁政策的有效性与严格程度有何影响？
• RQ3 区域相互依赖性——尤其是跨州人员流动——如何影响最优政策结果？
• RQ4 深度学习算法能否有效解决大流行病政策设计中的高维随机微分博弈问题？
• RQ5 感染成本与经济成本的相对权重（超参数a）在塑造均衡政策方面发挥什么作用？

主要发现

• 当公众配合度较高（θ = 0.99）时，较宽松的封锁措施已足以控制疫情，降低政策成本，同时维持较低的易感人群水平。
• 当配合度较低（θ = 0.9）时，即使实施严格政策也难以有效遏制病毒传播，导致传播持续时间延长及更高的感染负担。
• 区域相互依赖性显著削弱了单个州政策的影响；例如，新泽西州的宽松政策会破坏纽约州与宾夕法尼亚州即使采取严格措施的努力。
• 模型揭示，某一区域过早放松政策可能引发连锁反应，导致其他区域也因持续的跨境传播而不得不放松限制。
• 在不同配合度（θ）与成本权重（a）组合下存在多个纳什均衡，表明策略对模型参数具有高度敏感性。
• 模拟结果表明，2020年初纽约州、新泽西州与宾夕法尼亚州的实际政策与θ = 0.99和a = 25相符，表明公众配合度高且成本权衡取得平衡。