[论文解读] POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning

Joseph Futoma, Michael C. Hughes+1 more|arXiv (Cornell University)|Jan 13, 2020

Machine Learning in Healthcare参考文献 36被引用 7

一句话总结

POPCORN 为部分可观测马尔可夫决策过程（POMDP）提出了一种新颖的优化目标，该目标在批量、离策略的医疗环境中，联合提升了策略性能与生成模型质量。通过引入基于价值的正则化项来约束最大似然训练，POPCORN 在模型误设的情况下，仍能获得比两阶段或仅价值基基线方法更优的策略与更具临床可解释性的模型。

ABSTRACT

Many medical decision-making tasks can be framed as partially observed Markov decision processes (POMDPs). However, prevailing two-stage approaches that first learn a POMDP and then solve it often fail because the model that best fits the data may not be well suited for planning. We introduce a new optimization objective that (a) produces both high-performing policies and high-quality generative models, even when some observations are irrelevant for planning, and (b) does so in batch off-policy settings that are typical in healthcare, when only retrospective data is available. We demonstrate our approach on synthetic examples and a challenging medical decision-making problem.

研究动机与目标

• 为解决两阶段强化学习方法在医疗领域中的局限性，即模型拟合与规划过程解耦，导致在模型误设时策略表现次优。
• 开发一种决策感知的训练目标，以在批量、离策略的临床数据常见设置下，平衡高似然生成建模与高性能策略。
• 通过使用可检查的发射与转移分布的离散、结构化 POMDP，提升医疗决策中的样本效率与模型可解释性。
• 通过生成既准确生成轨迹又适用于规划的模型，实现迁移学习与临床验证。
• 克服仅基于价值或仅基于似然的训练失败模式，即模型要么无法良好拟合数据，要么无法有效支持决策。

提出的方法

• POPCORN 优化一种混合目标，结合观测的最大似然与基于 POMDP 模型所诱导策略价值的正则化项。
• 该方法使用具有离散隐状态的隐马尔可夫模型（HMM）来表示未观测到的生理状态，并将观测建模为条件于状态与动作的高斯混合分布。
• 超参数 λ 控制似然（模型拟合）与策略价值（规划性能）之间的权衡，λ 通过调优以平衡两项目标。
• 优化在批量、离策略设置下进行，使用回顾性临床数据，无需在线交互。
• 通过可视化学习到的发射分布，实现模型可检查性，使临床医生能够评估其临床合理性。
• 训练完成后，使用模型通过值迭代进行策略规划，并通过使用新奖励函数重新求解来测试其可迁移性。

实验结果

研究问题

• RQ1 单一优化目标是否能在部分可观测、批量强化学习设置下，同时提升生成模型质量与下游策略性能？
• RQ2 在模型误设条件下，POPCORN 与两阶段及仅价值基基线方法在策略价值、模型似然与预测准确性方面的表现如何比较？
• RQ3 POPCORN 模型在多大程度上可被检查以评估其临床合理性？其学习到的发射分布与基线方法相比有何差异？
• RQ4 当奖励函数改变时，POPCORN 在新决策任务上的迁移能力是否优于其他方法？
• RQ5 尽管仅使用回顾性数据，POPCORN 是否能在真实 ICU 决策任务中超越行为策略？

主要发现

• 在模拟的 ICU 低血压管理任务中，POPCORN 的策略价值与观察到的临床医生行为策略相当，甚至略优。
• 两阶段基线在策略价值上表现较差，尽管其似然值最高，原因在于建模了无关信息。
• 仅价值基基线的预测极不准确，关键临床变量（如 MAP 和尿量）的平均绝对误差比 POPCORN 和两阶段方法高几个数量级。
• POPCORN 的发射分布比两阶段基线更分散，且在不同隐状态间区分更清晰，从而降低了策略模糊性。
• 仅价值基基线学习到了高度多样的状态，但以牺牲数据拟合为代价，表明策略质量与模型准确性之间存在权衡。
• POPCORN 模型在奖励函数修改后的新任务上表现出合理的可迁移性，尽管其原始值估计表现强劲，仍优于仅价值基基线的迁移性能。