[论文解读] Optimizing Warfarin Dosing using Deep Reinforcement Learning

Sadjad Anzabi Zadeh, W. Nick Street+1 more|arXiv (Cornell University)|Feb 7, 2022

Statistical Methods in Clinical Trials被引用 7

一句话总结

本文提出了一种基于深度强化学习（DRL）的华法林剂量调整模型，通过使用药代动力学/药效学（PK/PD）模型模拟虚拟患者，优化个体化剂量，其表现优于现有临床指南。该方法显著提升了治疗范围时间（TTR），尤其在高敏患者中表现更优，展现出在多种PK/PD模型下的优越性能与鲁棒性。

ABSTRACT

Warfarin is a widely used anticoagulant, and has a narrow therapeutic range. Dosing of warfarin should be individualized, since slight overdosing or underdosing can have catastrophic or even fatal consequences. Despite much research on warfarin dosing, current dosing protocols do not live up to expectations, especially for patients sensitive to warfarin. We propose a deep reinforcement learning-based dosing model for warfarin. To overcome the issue of relatively small sample sizes in dosing trials, we use a Pharmacokinetic/ Pharmacodynamic (PK/PD) model of warfarin to simulate dose-responses of virtual patients. Applying the proposed algorithm on virtual test patients shows that this model outperforms a set of clinically accepted dosing protocols by a wide margin. We tested the robustness of our dosing protocol on a second PK/PD model and showed that its performance is comparable to the set of baseline protocols.

研究动机与目标

• 为解决个体化华法林剂量调整的挑战，因其治疗窗狭窄，易导致出血或血栓栓塞事件，具有重要意义。
• 通过使用PK/PD模型模拟虚拟患者反应并生成大规模训练数据，克服小规模临床试验数据集的局限性。
• 开发一种序列决策框架，根据患者特异性INR反应动态调整剂量，以改善长期治疗效果。
• 评估基于DRL的剂量方案在不同PK/PD模型结构下的鲁棒性与泛化能力。
• 探索在临床决策支持中部署可解释、基于AI的剂量系统在可行性与局限性方面的问题。

提出的方法

• 将剂量问题建模为马尔可夫决策过程（MDP），其中状态表示患者特征与INR值，动作表示剂量调整。
• 使用深度Q网络（DQN）近似最优动作价值函数，使智能体能够通过与模拟的PK/PD环境进行试错交互，学习最优剂量策略。
• 采用Hamberg等人提出的PK/PD模型，模拟虚拟患者中的剂量-反应动力学，整合年龄、CYP2C9和VKORC1基因型等协变量。
• 在PK/PD模型生成的模拟数据上训练DRL智能体，结合经验回放与目标网络，以提升训练稳定性和收敛性。
• 通过将训练好的策略应用于另一结构不同的PK/PD模型（一室模型 vs. 两室模型）来测试鲁棒性，评估性能一致性。
• 为改善对代表性不足患者类型的训练效果，采用类别过采样等技术，平衡不同患者敏感度水平下的训练数据分布。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在模拟环境中学习到优于既定临床指南的华法林剂量调整策略？
• RQ2 基于DRL的剂量方案在不同患者敏感度特征下表现如何，特别是在高度敏感个体中？
• RQ3 当将DRL策略迁移至不同结构的PK/PD模型时，其性能是否保持稳定，表明其鲁棒性与泛化能力？
• RQ4 在训练个性化剂量模型时，模拟虚拟患者数据的引入在多大程度上缓解了小规模临床试验数据集的局限性？
• RQ5 在真实临床实践中部署此类基于DRL的系统时，面临的主要挑战是什么，特别是可解释性与临床医生信任方面？

主要发现

• 所提出的基于DRL的剂量模型在治疗范围时间（TTR）方面显著优于既定临床指南，尤其在高敏患者中表现更优。
• 对于正常患者，模型实现了更快的PTTR收敛，而通过过采样等针对性训练技术，显著提升了敏感患者的表现。
• 在另一结构不同的PK/PD模型（一室模型 vs. 两室模型）上测试时，DRL策略的性能与基线方案相当，证明了其鲁棒性。
• 利用PK/PD模型作为模拟器，成功生成了大规模、多样化的虚拟患者反应数据集，克服了临床试验样本量小的限制。
• 尽管性能优异，但模型的黑箱特性对其临床采纳构成挑战，因其可解释性远低于基于规则或回归的方案。
• 本研究凸显了临床医生参与闭环部署的潜力，即AI提供剂量建议但允许医生干预，从而增强信任与安全性。