[论文解读] Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation

Luchen Li, Ignacio Albert-Smet+1 more|arXiv (Cornell University)|Mar 13, 2020

Sepsis Diagnosis and Treatment参考文献 21被引用 6

一句话总结

该论文提出了一种强化学习框架 AI Clinician II，利用回顾性 ICU 数据优化重症监护中脓毒症的治疗。通过使用循环神经网络建模患者状态，并结合重要性采样与最优优先树搜索的离策略学习方法，该框架在行为克隆的辅助下减轻了分布偏移问题，从而提升了治疗策略的性能；在离策略评估中，该方法相较于基线策略表现更优，并引入了一种新颖的人机协同预临床验证框架。

ABSTRACT

Our aim is to establish a framework where reinforcement learning (RL) of optimizing interventions retrospectively allows us a regulatory compliant pathway to prospective clinical testing of the learned policies in a clinical deployment. We focus on infections in intensive care units which are one of the major causes of death and difficult to treat because of the complex and opaque patient dynamics, and the clinically debated, highly-divergent set of intervention policies required by each individual patient, yet intensive care units are naturally data rich. In our work, we build on RL approaches in healthcare ("AI Clinicians"), and learn off-policy continuous dosing policy of pharmaceuticals for sepsis treatment using historical intensive care data under partially observable MDPs (POMDPs). POMPDs capture uncertainty in patient state better by taking in all historical information, yielding an efficient representation, which we investigate through ablations. We compensate for the lack of exploration in our retrospective data by evaluating each encountered state with a best-first tree search. We mitigate state distributional shift by optimizing our policy in the vicinity of the clinicians' compound policy. Crucially, we evaluate our model recommendations using not only conventional policy evaluations but a novel framework that incorporates human experts: a model-agnostic pre-clinical evaluation method to estimate the accuracy and uncertainty of clinician's decisions versus our system recommendations when confronted with the same individual patient history ("shadow mode").

研究动机与目标

• 开发一种强化学习框架，实现从回顾性数据到前瞻性临床测试的 AI 驱动脓毒症治疗策略的安全、符合监管要求的过渡。
• 通过使用 RNN 和变分自编码器建模依赖历史的状态表示，解决重症监护中部分可观察患者状态的挑战。
• 通过行为克隆将学习策略约束在临床医生行为策略附近，缓解批量强化学习中的分布偏移问题。
• 通过整合最优优先树搜索扩展未探索状态区域的价值函数，实现超越行为策略的策略优化。
• 通过一种新颖的、与模型无关的预临床评估框架，对相同患者历史上的 AI 和临床医生决策进行直接比较，验证模型推荐的有效性。

提出的方法

• 使用循环神经网络（RNN）对过去动作和观测序列进行建模，将患者状态表示为依赖历史的状态表示。
• 采用条件变分自编码器（CVAE）学习能够预测未来观测的状态表示，从而实现对状态编码器的监督预训练。
• 在演员-评论家架构中应用离策略强化学习，并结合重要性采样（IS）重新加权来自行为策略的转移样本。
• 在推理阶段使用最优优先树搜索，探索行为策略覆盖范围之外的更高价值状态，其方向由演员-评论家模型的价值估计引导。
• 通过在每个训练批次内对重要性采样权重进行归一化，并施加正则化以防止权重坍塌，降低策略评估的方差。
• 提出一种与模型无关的预临床评估框架，临床医生在‘影子模式’下对相同患者历史评估 AI 推荐，实现对决策准确性和不确定性的直接比较。

实验结果

研究问题

• RQ1 在回顾性 ICU 数据上训练的强化学习策略是否能在脓毒症管理中显著优于现有临床医生治疗策略？
• RQ2 基于 RNN 的状态表示的、依赖历史的、部分可观察的马尔可夫决策过程（POMDP）框架，在捕捉脓毒症复杂患者动态方面效果如何？
• RQ3 在仅依赖离策略学习的基础上，引入最优优先树搜索能在多大程度上提升策略性能？
• RQ4 在临床环境中，如何缓解批量强化学习中的分布偏移问题，以确保策略的安全性和可靠性？
• RQ5 人机协同的预临床评估框架能否为比较 AI 与临床医生在脓毒症治疗中的决策提供可靠、风险意识强的基准？

主要发现

• AI Clinician II 在多种离策略评估（OPE）方法中显著优于行为策略和 AI Clinician I，包括加权重要性采样、Retrace(λ) 和加权双重稳健估计。
• 消融研究证实，学习到的状态表示和树搜索组件均对最优性能至关重要，且各自独立地提升了策略表现。
• 与模型无关的预临床评估框架成功捕捉了临床医生与 AI 系统在决策准确性和不确定性方面的差异，实现了安全、可比的基准测试。
• 在学习目标中引入行为克隆能有效缓解分布偏移，确保策略始终处于临床可接受的状态分布范围内。
• 通过批量归一化和对重要性采样权重施加正则化，显著提升了离策略评估的稳定性和可靠性。
• 使用 CVAE 进行状态表示学习可实现更准确的状态推断，甚至在策略优化尚未完全收敛时即提升整体训练效率和性能。