[论文解读] Offline reinforcement learning with uncertainty for treatment strategies in sepsis

Ran Liu, Joseph L. Greenstein+4 more|arXiv (Cornell University)|Jul 9, 2021

Sepsis Diagnosis and Treatment参考文献 44被引用 5

一句话总结

本文提出了一种带有不确定性估计的离线强化学习框架，旨在从回顾性电子健康记录数据中推导个性化脓毒症治疗策略。通过减轻因死亡率与治疗强度之间混杂因素导致的治疗不足偏差，该方法生成多个高置信度治疗选项，从而提高危重症治疗决策的准确性与个性化水平。

ABSTRACT

Guideline-based treatment for sepsis and septic shock is difficult because sepsis is a disparate range of life-threatening organ dysfunctions whose pathophysiology is not fully understood. Early intervention in sepsis is crucial for patient outcome, yet those interventions have adverse effects and are frequently overadministered. Greater personalization is necessary, as no single action is suitable for all patients. We present a novel application of reinforcement learning in which we identify optimal recommendations for sepsis treatment from data, estimate their confidence level, and identify treatment options infrequently observed in training data. Rather than a single recommendation, our method can present several treatment options. We examine learned policies and discover that reinforcement learning is biased against aggressive intervention due to the confounding relationship between mortality and level of treatment received. We mitigate this bias using subspace learning, and develop methodology that can yield more accurate learning policies across healthcare applications.

研究动机与目标

• 解决脓毒症病理生理学异质性和复杂性带来的个性化治疗挑战。
• 克服基于指南的治疗方案因缺乏个体化而常导致过度治疗或治疗不足的局限性。
• 开发一种强化学习框架，从历史EHR数据中学习而无需在线交互，确保安全性和可扩展性。
• 对治疗建议中的不确定性进行估计，以识别罕见或高风险情景，提升临床信任度。
• 减轻学习策略中因回顾性数据中治疗强度与死亡率之间的混杂关系而产生的对不积极治疗的偏好偏差。

提出的方法

• 应用离线强化学习，从脓毒症患者的回顾性EHR数据中学习最优治疗策略。
• 在Q值预测中引入不确定性估计，以识别低置信度或罕见的治疗情景。
• 使用子空间学习分解状态-动作空间，减少死亡率-治疗关联等混杂因素带来的偏差。
• 训练具有分布输出的深度Q网络，以建模价值预测中的不确定性。
• 为每位患者生成多个治疗建议，而非单一确定性动作，以增强临床灵活性。
• 应用置信度阈值过滤低可靠性建议，提升安全性与可解释性。

实验结果

研究问题

• RQ1 如何将离线强化学习适配于从回顾性EHR数据中学习可靠的脓毒症治疗策略，且在线交互需求最小化？
• RQ2 治疗强度与死亡率之间的混杂关系在多大程度上导致强化学习策略偏向于治疗不足？
• RQ3 不确定性估计能否提升基于强化学习的脓毒症治疗建议的可靠性与临床可解释性？
• RQ4 子空间学习在应用于复杂高维临床数据时，对离线强化学习中的偏差缓解效果如何？
• RQ5 该框架能否生成多个高置信度治疗选项，以支持脓毒症管理中的个性化决策？

主要发现

• 从离线数据学习到的强化学习策略因训练数据中高治疗强度与死亡率之间的混杂关系，表现出对治疗不足的偏差。
• 子空间学习显著降低了该偏差，使治疗策略更加准确且符合临床实际。
• 不确定性估计成功识别出罕见或高风险的治疗情景，使系统能够标记低置信度建议。
• 该方法为每位患者生成多个治疗选项，相比单一动作策略，显著提升了临床灵活性与个性化水平。
• 最终策略在不同患者亚组中表现出更优的泛化能力，尤其在高急性程度脓毒症病例中表现突出。
• 该框架在复杂共病患者中展现出更高的建议置信度，而标准指南在此类患者中常表现不佳。