[论文解读] Reinforcement Learning in Modern Biostatistics: Constructing Optimal Adaptive Interventions

Nina Deliu, Joseph Jay Williams+1 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Bandit Algorithms Research参考文献 132被引用 4

一句话总结

本文提出了一种统一的框架，利用强化学习（RL）构建医疗保健中的最优自适应干预（AIs），连接了动态治疗方案与移动健康中的即时自适应干预。该框架整合了Q学习、深度Q网络和上下文Bandit等RL方法，形成一种连贯的方法论，从序列性、个体化的患者数据中学习最优、数据驱动的治疗策略，其主要贡献体现在算法设计、案例研究以及生物统计学与人工智能协作的未来研究方向。

ABSTRACT

In recent years, reinforcement learning (RL) has acquired a prominent position in health-related sequential decision-making problems, gaining traction as a valuable tool for delivering adaptive interventions (AIs). However, in part due to a poor synergy between the methodological and the applied communities, its real-life application is still limited and its potential is still to be realized. To address this gap, our work provides the first unified technical survey on RL methods, complemented with case studies, for constructing various types of AIs in healthcare. In particular, using the common methodological umbrella of RL, we bridge two seemingly different AI domains, dynamic treatment regimes and just-in-time adaptive interventions in mobile health, highlighting similarities and differences between them and discussing the implications of using RL. Open problems and considerations for future research directions are outlined. Finally, we leverage our experience in designing case studies in both areas to showcase the significant collaborative opportunities between statistical, RL, and healthcare researchers in advancing AIs.

研究动机与目标

• 为解决强化学习（RL）在生物统计学中实际应用有限的问题，通过在自适应干预（AIs）中统一使用RL。
• 通过共同的RL框架弥合移动健康中动态治疗方案（DTRs）与即时自适应干预（JITIs）之间的方法论差距。
• 提供一份针对临床与数字健康环境中构建最优、数据驱动AIs的RL方法的全面技术综述。
• 展示统计学、RL与临床研究人员在推进个性化、自适应护理方面合作的潜力。
• 识别最优策略学习与RL在生物统计学中应用的开放问题与未来研究方向。

提出的方法

• 使用强化学习（RL）作为统一框架，对自适应干预中的序列决策进行建模，其中基于患者历史选择行动（治疗），以最大化累积奖励（如健康结果）。
• 应用带函数逼近的Q学习，以估计最优Q函数，并从纵向患者数据中推导出分阶段的治疗策略。
• 采用带经验回放和目标网络的深度Q网络（DQN），以稳定训练并在高维临床数据环境中实现深度RL。
• 使用线性上下文Bandit算法——LinUCB与LinTS——利用患者状态的特征表示，在实时决策中平衡探索与利用。
• 在LinTS与Action-Centered TS中结合后验抽样与置信上界，以在序列治疗分配中实现贝叶斯探索。
• 采用迭代估计技术如G-估计与遗憾建模，以在潜在模型误设条件下提升策略学习的稳定性和一致性。

实验结果

研究问题

• RQ1 如何系统性地应用强化学习以在传统临床与移动健康环境中构建最优自适应干预？
• RQ2 从RL视角看，动态治疗方案与即时自适应干预在方法论上的关键相似点与差异点是什么？
• RQ3 在从现实世界临床数据中学习最优治疗策略时，Q学习、DQN与上下文Bandit等RL算法在性能与稳定性方面如何比较？
• RQ4 在应用RL于医疗保健时，关键挑战是什么，特别是可解释性、稳定性与临床采纳方面？
• RQ5 生物统计学家、RL研究人员与临床医生之间可以产生哪些协同研究路径，以推进个性化、自适应护理？

主要发现

• 本文确立了RL在多样化临床与数字健康环境中构建最优自适应干预方面具有灵活性与原则性。
• 研究证明，带函数逼近的Q学习可在高维、序列决策环境中有效估计最优治疗策略。
• 带经验回放与目标网络的深度Q网络（DQN）在复杂、现实世界的临床数据环境中显著提升了学习稳定性与收敛性。
• 上下文Bandit方法如LinUCB与LinTS提供了可扩展且高效的实时个性化治疗决策方案，并具有遗憾最小化的理论保证。
• G-估计与遗憾建模的整合增强了算法的稳定性和鲁棒性，尤其在模型误设或未观测混杂因素的情况下。
• 案例研究表明，基于RL的AIs在预期临床结果方面可优于传统基于规则或静态的治疗策略，特别是在患者反应动态复杂且异质的情况下。