[论文解读] Robust Markov Decision Processes: Beyond Rectangularity

Grand Clement, Julien|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics参考文献 30被引用 26

一句话总结

本文提出了一种鲁棒马尔可夫决策过程（MDP）框架，通过因子矩阵建模转移概率的不确定性，实现了状态间的依赖关系，相较于传统的矩形不确定性集，显著降低了保守性。在矩形性假设下，该方法能高效计算最优鲁棒策略，在计算实验中表现出更优的可处理性与性能。

ABSTRACT

Markov decision processes (MDPs) are a common approach to model dynamic optimization problems in many applications. However, in most real world problems, the model parameters that are estimated from noisy observations are uncertain, and the optimal policy for the nominal parameter values might be highly sensitive to even small perturbations in the parameters leading to significantly suboptimal outcomes. We consider a robust approach where the uncertainty in probability transitions is modeled as an adversarial selection from an uncertainty set. Most prior work considers the case where uncertainty on parameters related to different states is unrelated and the adversary is allowed to select worst possible realization for each state unrelated to others, potentially leading to highly conservative solutions. On the other hand, the case of general uncertainty sets is known to be intractable. We consider a factor model for probability transitions where the transition probability is a linear function of a factor matrix that is uncertain and belongs to a factor matrix uncertainty set. This a significantly less conservative approach to modeling uncertainty in probability transitions while allowing to model dependence between probability transitions across different states. We show that under a certain rectangularity assumption, we can efficiently compute the optimal robust policy under the factor matrix uncertainty model. We also present a computational study to demonstrate the usefulness of our approach.

研究动机与目标

• 解决传统鲁棒MDP中因假设各状态间不确定性独立而产生的过度保守问题。
• 利用因子矩阵结构建模不同状态间转移概率的依赖关系。
• 为该新型不确定性模型开发高效的鲁棒策略优化计算方法。
• 通过计算实验展示该方法的实际优势。

提出的方法

• 将转移概率建模为不确定因子矩阵的线性函数，其中因子矩阵属于预定义的不确定性集合。
• 引入矩形性假设，使鲁棒MDP问题可重述为可处理的优化问题。
• 利用动态规划原理，通过求解改进的值迭代或策略迭代算法，计算最优鲁棒策略。
• 构建鲁棒贝尔曼方程，以考虑因子矩阵不确定性集合内的最坏情况转移。
• 应用分解技术处理因子矩阵结构，降低计算复杂度。
• 构建计算框架，用于在基准MDP问题上评估该方法。

实验结果

研究问题

• RQ1 与独立状态不确定性相比，因子矩阵模型是否能降低鲁棒MDP中的保守性？
• RQ2 对状态转移之间依赖关系的建模，如何影响最优策略的鲁棒性与性能？
• RQ3 在何种条件下，具有因子矩阵不确定性的鲁棒MDP问题可被高效求解？
• RQ4 在鲁棒MDP中，建模灵活性与可处理性之间的计算权衡如何体现？
• RQ5 与标准鲁棒MDP方法相比，该方法在策略质量与计算成本方面表现如何？

主要发现

• 所提出的因子矩阵不确定性模型通过捕捉状态转移间的依赖关系，显著降低了传统矩形不确定性集带来的保守性。
• 在矩形性假设下，鲁棒MDP问题保持计算可处理性，并可通过改进的动态规划算法求解。
• 该方法即使在不确定性覆盖多个状态时，也能实现最优鲁棒策略的高效计算。
• 计算研究表明，该方法在参数扰动下，其策略性能优于基线鲁棒MDP方法。
• 该框架在保持计算效率的同时，相比独立状态建模方法，能够实现更丰富的转移不确定性建模。