[论文解读] Transfer Learning Across Patient Variations with Hidden Parameter Markov Decision Processes

Taylor W. Killian, George Konidaris+1 more|arXiv (Cornell University)|Dec 1, 2016

Machine Learning and Algorithms参考文献 22被引用 4

一句话总结

该论文提出了一种基于高斯过程潜在变量模型（GPLVM）增强的隐参数马尔可夫决策过程（HiP-MDP），以实现在个性化HIV治疗中，针对不同生理反应患者之间的鲁棒迁移学习。通过联合建模状态与参数不确定性，该框架在学习个体化治疗策略方面比通用化或完全个性化基线方法更快、更准确，仅需极少的患者数据即可实现接近最优的性能。

ABSTRACT

Due to physiological variation, patients diagnosed with the same condition may exhibit divergent, but related, responses to the same treatments. Hidden Parameter Markov Decision Processes (HiP-MDPs) tackle this transfer-learning problem by embedding these tasks into a low-dimensional space. However, the original formulation of HiP-MDP had a critical flaw: the embedding uncertainty was modeled independently of the agent's state uncertainty, requiring an unnatural training procedure in which all tasks visited every part of the state space---possible for robots that can be moved to a particular location, impossible for human patients. We update the HiP-MDP framework and extend it to more robustly develop personalized medicine strategies for HIV treatment.

研究动机与目标

• 为解决患者对治疗反应的生理差异问题，该问题阻碍了医疗领域中有效迁移学习的实现。
• 克服原始HiP-MDP框架中的关键缺陷：将嵌入不确定性与状态不确定性独立建模，导致必须进行详尽的状态空间探索。
• 开发一种统一的不确定性模型，利用高斯过程实现对状态与参数不确定性的联合建模，从而实现无需完整状态空间覆盖的直接且高效的患者间迁移。
• 通过自适应迁移利用先前患者的资料，实现更快、更高效的数据驱动个性化HIV治疗策略学习。
• 在真实的HIV治疗模拟器中验证该方法，结果表明其性能优于通用化与完全个性化基线方法。

提出的方法

• 通过集成高斯过程潜在变量模型（GPLVM）扩展HiP-MDP框架，联合建模潜在参数空间与智能体状态的不确定性。
• 使用高斯过程（GP）近似跨任务的转移动态 $T(s'|s,a,w_b)$，实现对当前任务动态的推理以及在相似患者实例间的迁移。
• 采用稀疏GP近似方法，通过模拟退火算法选择支持点，以最小化重建误差并降低计算成本。
• 应用带有优先经验回放的双重深度Q网络（Double Deep Q-Network）在线学习控制策略，使用GP近似动态生成的合成数据。
• 通过仅选择最具代表性的先前任务实例进行迁移，实现自适应迁移，避免负迁移。
• 使用统一的GP模型在学习过程早期推断当前患者的潜在参数 $w_b$，从而实现快速策略个性化。

实验结果

研究问题

• RQ1 是否能够通过统一的不确定性模型联合捕捉状态与参数不确定性，从而提升个性化治疗规划中的迁移学习性能？
• RQ2 在缺乏完整状态空间覆盖的情况下，GPLVM增强的HiP-MDP是否能实现比通用化或完全个性化基线更快、更准确的策略学习？
• RQ3 该模型在仅使用少量观测数据的情况下，能否有效识别并适应患者特异性的生理差异？
• RQ4 自适应选择先前任务实例在多大程度上可防止负迁移并提升学习效率？
• RQ5 该框架在HIV治疗等复杂真实医疗领域中，能否在每名患者数据极少的情况下实现良好泛化？

主要发现

• GPLVM增强的HiP-MDP在HIV模拟器中实现了接近最优的治疗策略性能，其表现与完全个性化基线相当或更优，同时显著减少了每名患者的所需数据量。
• 该模型在训练初期的少数几个回合内即成功识别并分离出两类具有不同生理特征的患者，实现了快速个性化。
• 通过联合建模不确定性，该框架减少了对详尽状态空间探索的需求，使其在无法实现完整状态覆盖的临床应用中成为可行方案。
• 采用自适应迁移策略——仅选择最相关的先前实例进行迁移——有效防止了负迁移，并提升了学习效率。
• 为20个任务实例开发最优策略的整个过程耗时约30分钟，证明了其可扩展性与实用性。
• 模型提供的不确定性度量使得即使在潜在空间中未分类的患者配置下，也能实现可靠的策略评估。