[论文解读] RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization

Hao Lü, Mengdi Wang|arXiv (Cornell University)|May 24, 2019

Healthcare Operations and Scheduling Optimization参考文献 32被引用 6

一句话总结

该论文提出了一种强化学习流程 RL4health，通过从片段化索赔数据中众包专家决策，优化膝关节置换术的临床路径。利用价值迭代、状态压缩、核表示和交叉验证，该方法学习到一种最优治疗策略，使平均片段成本降低7%，过度成本溢价减少33%，同时在优化策略下实现实时路径预测。

ABSTRACT

Joint replacement is the most common inpatient surgical treatment in the US. We investigate the clinical pathway optimization for knee replacement, which is a sequential decision process from onset to recovery. Based on episodic claims from previous cases, we view the pathway optimization as an intelligence crowdsourcing problem and learn the optimal decision policy from data by imitating the best expert at every intermediate state. We develop a reinforcement learning-based pipeline that uses value iteration, state compression and aggregation learning, kernel representation and cross validation to predict the best treatment policy. It also provides forecast of the clinical pathway under the optimized policy. Empirical validation shows that the optimized policy reduces the overall cost by 7 percent and reduces the excessive cost premium by 33 percent.

研究动机与目标

• 解决膝关节置换术中复杂临床决策过程缺乏基于原理的AI优化问题。
• 在CMS的CJR模型下，降低整体治疗成本和过度成本溢价（该模型对超过25,565美元的片段施加惩罚）。
• 通过智能众包，整合多位不同阶段膝关节置换术医生的专家知识。
• 开发一种可推广、稳健的策略，以预测在最优决策下的未来临床路径。
• 通过最小化与并发症相关的末端成本，同时提升成本效率和护理质量。

提出的方法

• 将膝关节置换过程建模为马尔可夫决策过程（MDP），包含顺序的、与状态相关的决策。
• 应用价值迭代，从历史片段化索赔数据中学习最优策略。
• 使用基于谱的降维方法压缩并聚合状态历史，同时保持解决方案质量。
• 采用核表示方法，对高维临床数据中的复杂非线性状态-动作关系进行建模。
• 利用交叉验证选择最优模型复杂度（k=3），确保泛化能力，避免过拟合。
• 通过在优化策略下模拟10,000条样本轨迹，生成路径预测，预测随时间推移的诊断分布。

实验结果

研究问题

• RQ1 强化学习能否有效整合异构、片段化的索赔数据中的专家临床决策，以优化复杂的外科路径？
• RQ2 与基线临床实践相比，学习到的策略在多大程度上能降低平均成本和过度成本？
• RQ3 该模型在样本外数据上的泛化能力如何？模型复杂度与性能之间的最佳平衡是什么？
• RQ4 在给定当前诊断和治疗阶段的情况下，该模型能否提供准确的时间条件化未来临床状态预测？
• RQ5 减少末端成本是否与临床结果的改善相关，而不仅限于财务收益？

主要发现

• 优化策略使平均片段成本降低7%，相当于每例节省1,000美元。
• 在优化策略下，超过25,565美元的过度成本溢价减少了33%。
• 交叉验证确定k=3为最优模型复杂度，最小化过拟合，确保样本外性能的稳健性。
• 优化后的成本分布显示，超过30,000美元的片段显著减少，从而减轻了CJR模型下的财务风险。
• 该模型成功实现了高保真度的未来临床路径预测，显示出随时间推移的诊断类别条件概率分布。
• 末端成本的降低表明临床结果可能得到改善，因为高成本片段通常与并发症和再入院相关。