[论文解读] Optimality and Approximation with Policy Gradient Methods in Markov Decision Processes

Alekh Agarwal, Sham M. Kakade+2 more|arXiv (Cornell University)|Aug 1, 2019

Reinforcement Learning in Robotics被引用 33

一句话总结

本文为折扣马尔可夫决策过程中的策略梯度方法建立了理论基础，证明了在表格化参数化下全局收敛至最优策略，并在受限策略类下提供了无偏学习保证。它形式化了有利初始状态分布克服探索挑战的作用，提供了收敛速率和近似误差界，使策略梯度方法在理论上与值基方法相当。

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution (say with a sufficiently rich policy class); how they cope with approximation error due to using a restricted class of parametric policies; or their finite sample behavior. Such characterizations are important not only to compare these methods to their approximate value function counterparts (where such issues are relatively well understood, at least in the worst case), but also to help with more principled approaches to algorithm design. This work provides provable characterizations of computational, approximation, and sample size issues with regards to policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: 1) tabular policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy, and 2) restricted policy classes, which may not contain the optimal policy and where we provide agnostic learning results. One insight of this work is in formalizing the importance how a favorable initial state distribution provides a means to circumvent worst-case exploration issues. Overall, these results place policy gradient methods under a solid theoretical footing, analogous to the global convergence guarantees of iterative value function based algorithms.

研究动机与目标

• 在折扣马尔可夫决策过程（MDPs）中建立策略梯度方法的可证明收敛性质，特别是计算、近似和样本规模行为方面。
• 分析当最优策略不在参数化策略类中时，策略梯度方法的表现，并提供无偏学习保证。
• 研究初始状态分布对探索效率和收敛性的影响，形式化其在规避最坏情况探索问题中的作用。
• 通过提供与迭代值函数算法相当的理论保证，将策略梯度方法与值基方法进行比较。
• 弥合对策略梯度方法理论理解的差距，特别是关于实际设置中收敛速度和近似误差的问题。

提出的方法

• 作者在折扣MDP的背景下，使用表格化策略参数化和受限参数化策略类分析策略梯度方法。
• 对于表格化策略，他们通过在期望累积奖励上使用梯度上升，利用光滑性和强凹性性质，证明了向最优策略的全局收敛。
• 对于受限策略类，他们推导出无偏学习界，量化了与类中最佳策略的近似误差。
• 他们引入了对初始状态分布如何影响收敛性的正式分析，表明有利的分布可以消除最坏情况下的探索瓶颈。
• 理论结果使用随机逼近、马尔可夫链理论和优化工具推导得出，包括对梯度噪声和收敛速率的界。
• 关键组成部分包括策略梯度定理的使用以及对性能目标的Hessian矩阵的分析，以建立局部和全局收敛行为。

实验结果

研究问题

• RQ1 在何种条件下，策略梯度方法在表格化MDP中能全局收敛至最优策略？
• RQ2 当最优策略不在参数化策略类中时，策略梯度方法表现如何，可提供何种性能保证？
• RQ3 初始状态分布对策略梯度方法的收敛性和探索效率有何影响？
• RQ4 策略类中的近似误差如何影响策略梯度方法的性能，且能否被界定？
• RQ5 在函数逼近存在的情况下，策略梯度方法的有限样本和计算收敛速率是什么？

主要发现

• 在标准正则性条件下，使用表格化参数化的策略梯度方法在折扣MDP中可实现向最优策略的全局收敛。
• 对于不包含最优策略的受限策略类，该方法提供无偏学习保证，以近似误差形式界定次优性差距。
• 有利的初始状态分布显著改善收敛性，通过缓解最坏情况下的探索问题，有效减少对广泛探索的需求。
• 本文建立了策略梯度方法的有限样本收敛速率，表明收敛速度取决于性能景观的曲率和策略初始化的质量。
• 受限策略类引起的近似误差被正式量化，其界取决于类中最佳策略与真实最优策略之间的距离。
• 该理论框架为策略梯度方法提供了与值基迭代算法的收敛保证相当的理论基础。