[论文解读] Representation and Reinforcement Learning for Personalized Glycemic Control in Septic Patients

Wei‐Hung Weng, Mingwu Gao+3 more|arXiv (Cornell University)|Dec 2, 2017

Hyperglycemia and glycemic control in critically ill and hospitalized patients参考文献 12被引用 46

一句话总结

本研究提出了一种结合表示学习的强化学习（RL）框架，利用回顾性ICU数据为脓毒症患者识别个性化的最佳血糖目标。通过使用稀疏自编码器编码患者状态并应用策略迭代，该方法学习到一种最优策略，与真实世界轨迹相比，将估计的90天死亡率降低了6.3%（从31%降至24.75%）。

ABSTRACT

Glycemic control is essential for critical care. However, it is a challenging task because there has been no study on personalized optimal strategies for glycemic control. This work aims to learn personalized optimal glycemic trajectories for severely ill septic patients by learning data-driven policies to identify optimal targeted blood glucose levels as a reference for clinicians. We encoded patient states using a sparse autoencoder and adopted a reinforcement learning paradigm using policy iteration to learn the optimal policy from data. We also estimated the expected return following the policy learned from the recorded glycemic trajectories, which yielded a function indicating the relationship between real blood glucose values and 90-day mortality rates. This suggests that the learned optimal policy could reduce the patients' estimated 90-day mortality rate by 6.3%, from 31% to 24.7%. The result demonstrates that reinforcement learning with appropriate patient state encoding can potentially provide optimal glycemic trajectories and allow clinicians to design a personalized strategy for glycemic control in septic patients.

研究动机与目标

• 开发一种数据驱动的、个性化的危重脓毒症患者血糖控制方法，摆脱‘一刀切’的血糖目标模式。
• 通过从真实世界数据中学习最优血糖轨迹，应对重症监护中高血糖变异性及不良结局的挑战。
• 通过强化学习和患者状态表示识别个性化的目标血糖水平，降低90天死亡率。
• 为临床医生提供一种决策支持工具，基于个体患者的生理和病理特征建议最佳血糖参考范围。
• 通过将模拟的最优轨迹与真实世界的血糖控制结果进行比较，以死亡率为首要结局指标，验证该方法。

提出的方法

• 患者状态通过原始临床特征和通过32维稀疏自编码器学习得到的潜在表示共同表示，以改善状态编码。
• 构建了一个马尔可夫决策过程（MDP），以90天死亡率为奖励信号：生存奖励+100，90天内死亡奖励-100。
• 动作被离散化为血糖水平，划分为11个区间，代表临床决策中的目标血糖范围。
• 采用策略迭代学习最优策略π*，以最大化期望回报（Q*），代表最佳预测生存结果。
• 使用期望回报函数估计真实与模拟轨迹的死亡率，实现对比分析。
• 应用状态聚类（Ng, 2011）以管理高维状态空间，提升策略泛化能力。

实验结果

研究问题

• RQ1 结合学习到的患者状态表示的强化学习能否识别出改善脓毒症ICU患者生存率的个性化最优血糖目标水平？
• RQ2 患者状态表示的选择（原始特征 vs. 自编码表示）如何影响所学RL策略在预测90天死亡率方面的性能？
• RQ3 与真实世界的血糖控制实践相比，最优策略能在多大程度上降低估计的90天死亡率？
• RQ4 所学的期望回报函数是否能准确反映实际患者结局，以死亡率作为衡量标准？
• RQ5 该RL框架能否作为临床医生在危重病监护中设定个体化血糖目标的可靠决策支持工具？

主要发现

• 基于稀疏自编码器编码状态学习到的最优策略将估计的90天死亡率降低至24.75%，相比真实世界31.17%的死亡率，绝对降低了6.3个百分点。
• 使用原始特征时，最优策略将估计死亡率从真实策略的31.00%降低至27.29%，改善了3.71个百分点。
• 从最优策略中学到的期望回报函数与实际死亡率呈强烈负相关，验证了其预测能力。
• 基于真实轨迹估计的死亡率–期望回报函数与实际90天死亡率（31.17%）高度吻合，证实了模型的可靠性。
• 稀疏自编码器学习到的潜在表示提升了策略性能，相比原始特征，将估计死亡率降低了2.46个百分点。
• 该方法表明，通过RL推导出的个性化血糖目标可显著改善脓毒症ICU患者的预测结局。