[论文解读] Precision medicine as a control problem: Using simulation and deep reinforcement learning to discover adaptive, personalized multi-cytokine therapy for sepsis

Brenden K. Petersen, Jiachen Yang+5 more|arXiv (Cornell University)|Feb 8, 2018

Sepsis Diagnosis and Treatment参考文献 32被引用 14

一句话总结

本研究提出一种基于深度强化学习（DDPG）控制的自适应、个性化多细胞因子疗法，用于脓毒症治疗，通过代理模型（IIRABM）模拟先天性免疫反应。该方法在其训练患者中实现0%死亡率，在500种不同患者参数化配置中平均死亡率为0.8%（基线死亡率范围为1%–99%），表明基于反馈的动态细胞因子调节具有控制脓毒症病程的潜力。

ABSTRACT

Sepsis is a life-threatening condition affecting one million people per year in the US in which dysregulation of the body's own immune system causes damage to its tissues, resulting in a 28 - 50% mortality rate. Clinical trials for sepsis treatment over the last 20 years have failed to produce a single currently FDA approved drug treatment. In this study, we attempt to discover an effective cytokine mediation treatment strategy for sepsis using a previously developed agent-based model that simulates the innate immune response to infection: the Innate Immune Response agent-based model (IIRABM). Previous attempts at reducing mortality with multi-cytokine mediation using the IIRABM have failed to reduce mortality across all patient parameterizations and motivated us to investigate whether adaptive, personalized multi-cytokine mediation can control the trajectory of sepsis and lower patient mortality. We used the IIRABM to compute a treatment policy in which systemic patient measurements are used in a feedback loop to inform future treatment. Using deep reinforcement learning, we identified a policy that achieves 0% mortality on the patient parameterization on which it was trained. More importantly, this policy also achieves 0.8% mortality over 500 randomly selected patient parameterizations with baseline mortalities ranging from 1 - 99% (with an average of 49%) spanning the entire clinically plausible parameter space of the IIRABM. These results suggest that adaptive, personalized multi-cytokine mediation therapy could be a promising approach for treating sepsis. We hope that this work motivates researchers to consider such an approach as part of future clinical trials. To the best of our knowledge, this work is the first to consider adaptive, personalized multi-cytokine mediation therapy for sepsis, and is the first to exploit deep reinforcement learning on a biological simulation.

研究动机与目标

• 研究自适应、个性化的多细胞因子疗法是否能有效控制脓毒症进展并降低死亡率。
• 克服以往脓毒症临床试验中采用单一细胞因子、固定剂量和时间的静态治疗方案所导致的失败。
• 探讨基于系统性患者监测数据的反馈式、动态治疗策略是否优于传统方法。
• 评估所学习治疗策略在广泛临床可接受的患者状况下的泛化能力和鲁棒性。
• 建立一种新型框架，利用深度强化学习控制复杂生物模拟，推动精准医学发展。

提出的方法

• 采用深度确定性策略梯度（DDPG）算法训练强化学习智能体，以优化多细胞因子治疗策略。
• 治疗策略利用实时系统性患者监测数据作为输入，在反馈回路中动态调节细胞因子调节。
• IIRABM模拟模型通过代理间相互作用模拟免疫细胞与细胞因子对感染的先天性免疫反应。
• 动作空间包括在每个时间步对多种细胞因子（如IL-1、IFN-γ、IL-10）进行上调或抑制。
• 环境在单一患者参数化配置上进行训练，并在500个随机采样的患者上进行评估，其基线死亡率范围为1%至99%。
• 基于生存结果评估策略，以死亡率作为主要奖励信号。

实验结果

研究问题

• RQ1 与静态的单一细胞因子干预相比，基于反馈的自适应多细胞因子疗法是否能显著降低脓毒症死亡率？
• RQ2 在单一患者表型上训练的深度强化学习策略是否能泛化至广泛的患者特异性脓毒症病程？
• RQ3 基于模拟的方法是否能发现传统临床试验设计难以实现的治疗策略？
• RQ4 一种有效、个性化的免疫调节策略具有哪些定性和定量特征？
• RQ5 是否可能通过数据驱动的自适应控制，在复杂、动态的生物系统中实现接近零死亡率？

主要发现

• 深度强化学习策略在其训练患者参数化配置中实现了0%死亡率，表明在该情况下可完美控制脓毒症进展。
• 在500个随机选择的患者参数化配置中（基线死亡率范围为1%–99%，平均49%），该策略实现了0.8%的死亡率。
• 该策略表现出自适应行为，例如在初始损伤较高的患者中延迟抑制促炎性细胞因子（如IL-1），符合生物学直觉。
• 该策略展示了多细胞因子的协调、时变调节，包括早期上调和后期抑制，与免疫系统动力学一致。
• 结果表明，即使在高死亡率情况下，个性化、自适应的多细胞因子疗法也可能是脓毒症的可行策略。
• 本研究首次将深度强化学习应用于控制生物模拟，并首次提出用于脓毒症的自适应、个性化多细胞因子疗法。