[论文解读] On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift

Alekh Agarwal, Sham M. Kakade+2 more|arXiv (Cornell University)|Aug 1, 2019

Reinforcement Learning in Robotics参考文献 59被引用 111

一句话总结

本文为带折扣的马尔可夫决策过程中策略梯度方法提供全局收敛性保证，涵盖表格设置与函数近似设置，并引入与分布转移相关的平均情形近似保证。

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution or how they cope with approximation error due to using a restricted class of parametric policies. This work provides provable characterizations of the computational, approximation, and sample size properties of policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: "tabular" policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy; and parametric policy classes (considering both log-linear and neural policy classes), which may not contain the optimal policy and where we provide agnostic learning results. One central contribution of this work is in providing approximation guarantees that are average case -- which avoid explicit worst-case dependencies on the size of state space -- by making a formal connection to supervised learning under distribution shift. This characterization shows an important interplay between estimation error, approximation error, and exploration (as characterized through a precisely defined condition number).

研究动机与目标

• 在表格设定中建立全局收敛性，即最优策略落在该类中时的性质。
• 分析当最优策略可能位于策略类之外时，函数近似下的收敛性。
• 提供避免最坏情形状态空间依赖的平均情形近似保证，借助分布转移的概念。
• 量化估计误差、近似误差与探索在策略优化中的权衡。

提出的方法

• 分析带折扣的 MDP 中的一阶和拟二阶策略梯度方法。
• 推导表格策略梯度变体（在单纯形上的投影梯度上升、softmax 参数化以及对数屏障正则化版本）的迭代复杂度结果。
• 在合适条件下证明自然策略梯度（NPG）的快速收敛速率，与状态/动作空间规模和 D_infty 无关。
• 为函数近似策略建立使用转移误差/分布转移框架的平均情形保证。
• 利用带策略参数的策略梯度公式和策略梯度定理，包括梯度支配视角。
• 通过结构化的误差/分解分析，与相关近似动态规划方法进行对比。

实验结果

研究问题

• RQ1 当最优策略位于策略类中时，表格设置下的策略梯度方法是否能够全局收敛到最优策略？
• RQ2 当最优策略可能位于所选策略类之外时，策略梯度方法在函数近似下的表现如何？
• RQ3 不同策略梯度变体的样本和迭代复杂度是多少，且它们如何依赖折扣因子和分布性质？
• RQ4 如何通过平均情形（分布转移）分析获得相对乐观的、实用的保证，而非最坏情形界限？
• RQ5 对数屏障/熵正则化等正则化在实现 softmax 参数化的有限时间收敛中起到何种作用？

主要发现

• 在表格设定下，一阶方法在适当条件下可以实现全局收敛到最优策略。
• 在给定假设下，NPG 的收敛速率为 2/((1-γ)^2 ε)，与状态/动作空间规模及分布不匹配无关。
• 带对数屏障正则化的 softmax 参数化获得了在问题量级上多项式的有限时间迭代复杂度界。
• 对于函数近似，本文给出由估计误差 ε_stat 和近似误差 ε_approx 以及条件数 κ 所刻画的平均情形保证，收敛取决于分布转移 D_infty。
• 分析将策略梯度学习与分布转移下的监督学习联系起来，使得平均情形保证能够避免显式的最坏情形状态空间依赖。
• 结果揭示了一阶方法在估计误差、近似误差与探索（通过分布不匹配系数 D_infty）之间的权衡，并显示出 NPG 的维度无关优势。