[论文解读] On the Convergence Rates of Policy Gradient Methods

Lin Xiao|arXiv (Cornell University)|Jan 19, 2022

Markov Chains and Monte Carlo Methods被引用 13

一句话总结

该论文为有限horizon折扣马尔可夫决策过程中的策略梯度方法建立了精确的收敛速率。通过引入弱梯度映射支配性条件，证明了投影策略梯度方法的次线性收敛速率，并表明在几何递增步长下，包括自然策略梯度和投影Q下降在内的广泛类策略镜面下降方法，无需熵正则化即可实现线性收敛。

ABSTRACT

We consider infinite-horizon discounted Markov decision problems with finite state and action spaces and study the convergence rates of the projected policy gradient method and a general class of policy mirror descent methods, all with direct parametrization in the policy space. First, we develop a theory of weak gradient-mapping dominance and use it to prove sharper sublinear convergence rate of the projected policy gradient method. Then we show that with geometrically increasing step sizes, a general class of policy mirror descent methods, including the natural policy gradient method and a projected Q-descent method, all enjoy a linear rate of convergence without relying on entropy or other strongly convex regularization. Finally, we also analyze the convergence rate of an inexact policy mirror descent method and estimate its sample complexity under a simple generative model.

研究动机与目标

• 分析有限horizon折扣MDP中投影策略梯度与策略镜面下降方法的收敛速率。
• 提出一种新型的弱梯度映射支配性条件，以推导更紧致的次线性收敛界。
• 在不依赖熵正则化的情况下，证明在几何递增步长下，一类广义策略镜面下降方法可实现线性收敛。
• 在生成模型下分析一种非精确策略镜面下降方法的样本复杂度。
• 利用优化理论工具（如梯度映射与镜面下降）统一并推广策略梯度方法的收敛性分析。

提出的方法

• 引入弱梯度映射支配性条件，以分析投影策略梯度方法的收敛性。
• 利用价值函数上链式法则导出的策略梯度公式，涉及(I - γP(π))的逆矩阵，以表达∇V(π)。
• 采用镜面下降框架，使用依赖于当前策略的距离类函数D_k(π, π^{(k)})，从而推广投影梯度与自然策略梯度。
• 采用几何递增步长，以实现广义策略镜面下降类方法的线性收敛。
• 在简单生成模型下分析非精确策略镜面下降方法，通过梯度误差界估计样本复杂度。
• 将所提出的梯度映射支配性条件与现有条件（如KŁ和近端PŁ）联系起来，提示可能存在等价性。

实验结果

研究问题

• RQ1 在弱梯度映射支配性条件下，投影策略梯度方法的收敛速率如何？
• RQ2 策略镜面下降方法是否可在无需熵或其他强凸正则化的情况下实现线性收敛？
• RQ3 几何递增步长对策略镜面下降中的收敛性有何影响？
• RQ4 在生成模型下，非精确策略镜面下降方法的样本复杂度是多少？
• RQ5 所提出的梯度映射支配性条件与经典优化条件（如KŁ和PŁ）之间有何关系？

主要发现

• 在弱梯度映射支配性条件下，投影策略梯度方法实现了更优的次线性收敛速率。
• 在几何递增步长下，一类广义策略镜面下降方法（包括自然策略梯度与投影Q下降）可实现线性收敛至全局最优解。
• 线性收敛的建立不依赖于熵正则化或强凸性，仅依赖于梯度映射支配性条件。
• 在生成模型下，非精确策略镜面下降方法的样本复杂度为O(1/ε²)，梯度误差通过浓度不等式加以控制。
• 所提出的弱梯度映射支配性条件与近端Polyak-Łojasiewicz（PŁ）条件密切相关，提示其可能在不同常数下与之等价。
• 分析表明，梯度映射支配性条件弥合了经典优化条件与策略梯度收敛性之间的鸿沟，提供了一个统一的理论框架。