[论文解读] PEGASUS: A Policy Search Method for Large MDPs and POMDPs

Andrew Y. Ng, Michael I. Jordan|arXiv (Cornell University)|Jan 16, 2013

Reinforcement Learning in Robotics参考文献 17被引用 368

一句话总结

PEGASUS 提出了一种针对大规模马尔可夫决策过程（MDPs）和部分可观察 MDPs（POMDPs）的新颖策略搜索方法，通过将一般（PO）MDPs 转换为具有确定性转移的等价 POMDPs 实现。该方法通过样本高效的值估计实现高效的策略优化，在时间跨度上实现多项式样本复杂度——提供了理论保证，并在离散和连续控制任务（如学习骑自行车）中取得成功。

ABSTRACT

We propose a new approach to the problem of searching a space of policies for a Markov decision process (MDP) or a partially observable Markov decision process (POMDP), given a model. Our approach is based on the following observation: Any (PO)MDP can be transformed into an "equivalent" POMDP in which all state transitions (given the current state and action) are deterministic. This reduces the general problem of policy search to one in which we need only consider POMDPs with deterministic transitions. We give a natural way of estimating the value of all policies in these transformed POMDPs. Policy search is then simply performed by searching for a policy with high estimated value. We also establish conditions under which our value estimates will be good, recovering theoretical results similar to those of Kearns, Mansour and Ng (1999), but with "sample complexity" bounds that have only a polynomial rather than exponential dependence on the horizon time. Our method applies to arbitrary POMDPs, including ones with infinite state and action spaces. We also present empirical results for our approach on a small discrete problem, and on a complex continuous state/continuous action problem involving learning to ride a bicycle.

研究动机与目标

• 解决在高维或连续状态与动作空间的大规模 MDPs 和 POMDPs 中进行策略搜索的挑战。
• 通过将一般（PO）MDPs 转换为具有确定性转移的等价 POMDPs，降低策略搜索的复杂度。
• 开发一种值估计方法，实现高效的策略优化，并具备可证明的良好样本复杂度。
• 实现样本复杂度的理论边界，其与时间跨度呈多项式依赖关系，优于先前方法的指数依赖。
• 在离散和复杂连续状态/连续动作问题中展示方法的适用性与有效性。

提出的方法

• 将任意（PO）MDP 转换为在任一动作下均具有确定性状态转移的等价 POMDP。
• 使用自然策略评估技术，估计在转换后的确定性转移 POMDP 中策略的值。
• 通过在转换后的空间中优化策略的估计值来执行策略搜索。
• 利用确定性转移的结构，提高样本效率并降低值估计中的方差。
• 通过理论分析，建立与时间跨度呈多项式依赖的样本复杂度边界。
• 在离散问题和连续控制任务（如骑自行车）上进行实证评估，以验证性能。

实验结果

研究问题

• RQ1 能否通过问题的结构性转换，使大规模或连续状态 MDPs 与 POMDPs 中的策略搜索更加样本高效？
• RQ2 将（PO）MDP 转换为具有确定性转移的形式是否能保持策略值，并实现更优的优化？
• RQ3 在 POMDPs 的策略搜索中能否实现多项式样本复杂度，避免先前工作中存在的指数依赖？
• RQ4 在传统方法难以应对的复杂连续控制任务中，该方法表现如何？
• RQ5 在此框架下，值估计与策略优化能提供哪些理论保证？

主要发现

• 该方法实现了仅与时间跨度呈多项式依赖的样本复杂度边界，显著优于先前的指数边界。
• 转换为具有确定性转移的 POMDPs 保持了策略值，使得在转换空间中进行有效策略搜索成为可能。
• 实证结果表明，该方法在离散 MDP 和具有挑战性的连续状态/连续动作问题（如骑自行车）中成功实现了策略学习。
• 在转换后的 POMDPs 中使用的值估计技术提供了稳定且准确的策略评估。
• 理论分析证实，该方法在弱假设下仍保持良好的泛化能力。
• 该方法适用于任意 POMDPs，包括具有无限状态与动作空间的 POMDPs。