[论文解读] Scaling Up Robust MDPs by Reinforcement Learning

Aviv Tamar, Huan Xu+1 more|arXiv (Cornell University)|Jun 26, 2013

Reinforcement Learning in Robotics参考文献 18被引用 28

一句话总结

本文提出了一种基于强化学习的近似动态规划方法，用于在参数不确定性下求解大规模鲁棒马尔可夫决策过程（RMDPs）。通过使用线性函数逼近和投影固定点方程，该方法实现了可扩展的鲁棒规划，具备理论收敛保证，并在期权定价问题上的实证验证表明，在不确定性下其最坏情况性能得到改善。

ABSTRACT

We consider large-scale Markov decision processes (MDPs) with parameter uncertainty, under the robust MDP paradigm. Previous studies showed that robust MDPs, based on a minimax approach to handle uncertainty, can be solved using dynamic programming for small to medium sized problems. However, due to the "curse of dimensionality", MDPs that model real-life problems are typically prohibitively large for such approaches. In this work we employ a reinforcement learning approach to tackle this planning problem: we develop a robust approximate dynamic programming method based on a projected fixed point equation to approximately solve large scale robust MDPs. We show that the proposed method provably succeeds under certain technical conditions, and demonstrate its effectiveness through simulation of an option pricing problem. To the best of our knowledge, this is the first attempt to scale up the robust MDPs paradigm.

研究动机与目标

• 解决鲁棒MDP的可扩展性问题，传统动态规划因维度灾难而难以处理。
• 开发一种强化学习框架，以近似求解传统精确方法失效的大规模鲁棒MDP。
• 在使用线性函数逼近的前提下，为鲁棒策略评估和策略改进提供理论收敛保证。
• 在具有不确定转移动态的现实世界期权定价问题上，展示该方法的有效性。
• 在模型不确定性下，实现大规模序列决策问题中的风险规避决策。

提出的方法

• 通过为转移概率定义不确定性集来构建鲁棒MDP，确保最坏情况性能的优化。
• 引入投影固定点方程，利用线性函数逼近来近似鲁棒值函数。
• 提出一种近似鲁棒策略迭代（ARPI）算法，通过基于采样的更新迭代改进策略。
• 使用径向基函数（RBF）特征表示值函数，以捕捉状态与时间之间的非可分依赖关系。
• 应用ARPI更新规则并引入状态相关阈值，以处理期权执行时动作值的不连续性。
• 通过利用线性逼近下鲁棒贝尔曼算子的压缩性质，确保收敛性。

实验结果

研究问题

• RQ1 强化学习能否有效适应求解传统精确动态规划无法处理的大规模鲁棒MDP？
• RQ2 结合线性函数逼近与投影固定点方法，是否能实现可证明收敛的鲁棒策略评估与改进？
• RQ3 在模型不确定性下，鲁棒策略与名义（非鲁棒）策略相比表现如何？
• RQ4 在最优停止问题中，哪种特征表示最有效地近似鲁棒值函数？
• RQ5 所提出的方法能否在不确定性下的序列决策中实现风险规避行为，如在金融期权定价中所展示的？

主要发现

• 在温和的技术条件下，所提出的ARPI算法在使用线性函数逼近时，实现了鲁棒策略评估与改进的可证明收敛。
• 在总奖励的较低百分位数上，鲁棒策略优于名义策略，表明其在不确定性下的风险规避行为。
• 使用RBF特征显著优于拉盖尔特征和单调多项式特征，可能是因为其更优地建模了非可分值函数结构。
• 鲁棒性带来的性能提升与不确定性水平成正比，不确定性水平由置信区间宽度（α）和数据量（N_data）控制。
• 在200次独立实验中，配对t检验确认鲁棒策略在最坏情况下的表现具有统计显著优势（p < 0.05）。
• 该方法成功将鲁棒MDP范式扩展至大规模问题，是文献中首个实现此目标的方法。