[论文解读] Robust Policies For Proactive ICU Transfers

Julien Grand-Clément, Carri W. Chan+2 more|arXiv (Cornell University)|Feb 14, 2020

Healthcare Operations and Scheduling Optimization参考文献 57被引用 8

一句话总结

本文提出了一种鲁棒的马尔可夫决策过程（MDP）框架，用于制定前瞻性ICU转诊策略，该框架考虑了患者严重程度估计中的参数不确定性。研究证明，名义策略与鲁棒策略均具有阈值结构，其中鲁棒策略更为激进——在估计误差下提升了可靠性，并在样本量有限的真实世界数据中确保了最坏情况下的性能保障。

ABSTRACT

Patients whose transfer to the Intensive Care Unit (ICU) is unplanned are prone to higher mortality rates than those who were admitted directly to the ICU. Recent advances in machine learning to predict patient deterioration have introduced the possibility of \emph{proactive transfer} from the ward to the ICU. In this work, we study the problem of finding \emph{robust} patient transfer policies which account for uncertainty in statistical estimates due to data limitations when optimizing to improve overall patient care. We propose a Markov Decision Process model to capture the evolution of patient health, where the states represent a measure of patient severity. Under fairly general assumptions, we show that an optimal transfer policy has a threshold structure, i.e., that it transfers all patients above a certain severity level to the ICU (subject to available capacity). As model parameters are typically determined based on statistical estimations from real-world data, they are inherently subject to misspecification and estimation errors. We account for this parameter uncertainty by deriving a robust policy that optimizes the worst-case reward across all plausible values of the model parameters. We show that the robust policy also has a threshold structure under fairly general assumptions. Moreover, it is more aggressive in transferring patients than the optimal nominal policy, which does not take into account parameter uncertainty. We present computational experiments using a dataset of hospitalizations at 21 KNPC hospitals, and present empirical evidence of the sensitivity of various hospital metrics (mortality, length-of-stay, average ICU occupancy) to small changes in the parameters. Our work provides useful insights into the impact of parameter uncertainty on deriving simple policies for proactive ICU transfer that have strong empirical performance and theoretical guarantees.

研究动机与目标

• 开发前瞻性ICU转诊策略，通过利用预测的严重程度评分来改善患者预后，同时考虑模型参数的不确定性。
• 解决由于真实医院数据中有限样本估计误差导致的策略性能过度乐观的风险。
• 在名义和鲁棒优化框架下，提供关于策略结构（阈值型）的理论保证。
• 评估参数不确定性对关键医院指标（如死亡率、住院时长和ICU占用率）的影响。
• 证明即使在参数估计值出现微小偏差时，鲁棒策略在最坏情况下的表现仍优于名义策略。

提出的方法

• 构建单个患者的马尔可夫决策过程（MDP），其中状态表示患者的严重程度等级，动作为ICU转诊或病房监测。
• 利用真实世界数据（30万例KPNC住院记录）进行统计估计，标定严重程度状态之间的转移概率。
• 通过在估计参数周围定义不确定性集，应用鲁棒优化，以最坏情况下的性能为目标进行优化。
• 推导出结构特性，表明最优的名义策略与鲁棒策略均为基于阈值的——即对所有严重程度超过某一临界值的患者执行转诊。
• 引入相关性感知的不确定性建模，以反映影响严重程度评分估计的潜在共同因素。
• 采用基于真实医院数据的计算实验，比较不同策略在死亡率、住院时长和ICU占用率等指标上的表现。

实验结果

研究问题

• RQ1 在严重程度评分估计中考虑参数不确定性，是否能带来更可靠的ICU转诊策略？
• RQ2 最优鲁棒转诊策略具有何种结构特性？与名义策略相比有何差异？
• RQ3 关键医院结果（死亡率、住院时长、ICU占用率）对参数估计值的微小偏差有多敏感？
• RQ4 当模型参数来自有限数据集时，鲁棒优化能否防止性能估计的过度乐观？
• RQ5 参数不确定性在多大程度上导致对基于阈值转诊策略影响的不可靠推断？

主要发现

• 最优鲁棒策略具有与名义策略相同的阈值结构，但更激进地转诊患者，以确保最坏情况下的性能。
• 即使参数估计值出现微小偏差，名义策略的性能也可能显著下降，凸显了过度乐观的风险。
• 实证模拟表明，忽略参数不确定性可能导致对死亡率降低和ICU占用率控制的估计过于乐观。
• 参数间无关或不相关时的不确定性可能引发政策结果的极端扰动，从而破坏标准敏感性分析的可靠性。
• 鲁棒策略在一系列合理的参数值范围内均保持强劲性能，包括标准置信区间内的值。
• 本研究表明，最坏情况性能并非罕见事件——它可能出现在合理的估计误差范围内，因此鲁棒性是设计过程中必不可少的原则。