[论文解读] Quantile Markov Decision Process

Xiaocheng Li, Huaiyang Zhong+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Causal Inference Techniques参考文献 48被引用 3

一句话总结

本文提出量化分位数马尔可夫决策过程（QMDP），一种新颖的框架，旨在优化马尔可夫决策过程（MDP）中累积奖励的特定分位数，而非传统的期望值。通过扩展状态空间以追踪过去的累积奖励，作者开发了一种动态规划算法，能够高效计算适用于不同风险偏好的最优策略，其在个性化HIV治疗规划中的应用表明，风险偏好如何影响治疗时机的决策。

ABSTRACT

The goal of a traditional Markov decision process (MDP) is to maximize expected cumulative reward over a defined horizon (possibly infinite). In many applications, however, a decision maker may be interested in optimizing a specific quantile of the cumulative reward instead of its expectation. In this paper we consider the problem of optimizing the quantiles of the cumulative rewards of a Markov decision process (MDP), which we refer to as a quantile Markov decision process (QMDP). We provide analytical results characterizing the optimal QMDP value function and present a dynamic programming-based algorithm to solve for the optimal policy. The algorithm also extends to the MDP problem with a conditional value-at-risk (CVaR) objective. We illustrate the practical relevance of our model by evaluating it on an HIV treatment initiation problem, where patients aim to balance the potential benefits and risks of the treatment.

研究动机与目标

• 为解决传统MDP仅优化累积奖励期望值的局限性，提出一种新框架，转而最大化奖励分布的特定分位数。
• 通过将患者或系统层面的风险偏好纳入序列决策问题，实现风险敏感型决策建模。
• 开发一种高效的动态规划算法，通过一次遍历即可求解所有分位数的最优策略，利用状态扩展实现。
• 将框架扩展至条件风险价值（CVaR）目标，提升对尾部分布风险的鲁棒性。
• 通过HIV治疗启动的案例研究展示实际应用价值，表明风险规避程度如何影响治疗时机。

提出的方法

• QMDP模型通过在状态空间中引入过去累积奖励的性能度量，将非马尔可夫性的分位数目标转化为马尔可夫性目标。
• 该算法使用动态规划同时计算所有状态与分位数的最优值函数，时间复杂度为O(AST·max(RT, S))。
• 扩展后的状态追踪每个阶段的累积奖励，使策略可根据风险偏好自适应地调整为‘激进’、‘中性’或‘保守’。
• 通过利用嵌套风险度量与递归值更新，该方法可自然扩展至CVaR目标。
• 通过在包含50,000条奖励轨迹的HIV治疗模型上进行模拟，验证了该方法的有效性，用于比较MDP与QMDP的结果。
• 分析了策略稳定性，发现动作切换附近的不稳定性可能源于即时奖励与转移概率的结构特征。

实验结果

研究问题

• RQ1 如何重新表述马尔可夫决策过程，使其优化特定分位数的累积奖励，而非期望值？
• RQ2 何种状态扩展策略可使动态规划高效求解分位数优化问题？
• RQ3 从QMDP推导出的最优策略如何体现序列决策中不同风险规避水平的影响？
• RQ4 MDP的期望奖励分布与QMDP在不同分位数下的解之间存在何种关系？
• RQ5 QMDP框架能否扩展至处理风险规避决策中的条件风险价值（CVaR）目标？

主要发现

• 通过在状态空间中引入累积奖励历史，QMDP模型仅需一次动态规划遍历即可成功计算所有分位数的最优策略。
• 对于一名60岁、CD4计数为200的女性患者，风险规避型患者（τ=0.20）会延迟启动抗逆转录病毒治疗（ART），而风险规避程度较低的患者（τ=0.80）则更早开始，表明风险偏好驱动了策略的分化。
• MDP奖励的累积分布函数（CDF）在较高分位数处显示出更大的改进潜力，表明当决策者风险规避程度较低时，QMDP可带来显著收益。
• 最优策略在动作切换附近表现出不稳定性，可能源于即时奖励与终端奖励及转移概率的结构特征，提示需对策略单调性施加进一步约束条件。
• QMDP框架为比较MDP与风险敏感型解法提供了实用工具，揭示了采用分位数目标而非期望值可获得的潜在改进幅度。
• 该方法可扩展至CVaR目标，实现在尾部分布风险约束下的稳健优化，且在大规模问题中具有与近似动态规划结合的潜力。