[论文解读] Softmax Policy Gradient Methods Can Take Exponential Time to Converge

Gen Li, Yuting Wei+2 more|arXiv (Cornell University)|Feb 22, 2021

Reinforcement Learning in Robotics参考文献 51被引用 7

一句话总结

本文表明，即使在使用精确梯度和有利初始化的情况下，softmax策略梯度方法在折扣无限时域表格型MDP中仍可能需要指数级迭代次数才能收敛。作者构建了一个三动作MDP，其收敛时间随 $|1/η| ⋅ |ℓ|^{2^{\Omega(1/(1-\gamma))}}$ 变化，揭示了这类广泛使用的算法在最坏情况下的迭代复杂度存在根本性限制。

ABSTRACT

The softmax policy gradient (PG) method, which performs gradient ascent under softmax policy parameterization, is arguably one of the de facto implementations of policy optimization in modern reinforcement learning. For $γ$-discounted infinite-horizon tabular Markov decision processes (MDPs), remarkable progress has recently been achieved towards establishing global convergence of softmax PG methods in finding a near-optimal policy. However, prior results fall short of delineating clear dependencies of convergence rates on salient parameters such as the cardinality of the state space $\mathcal{S}$ and the effective horizon $\frac{1}{1-γ}$, both of which could be excessively large. In this paper, we deliver a pessimistic message regarding the iteration complexity of softmax PG methods, despite assuming access to exact gradient computation. Specifically, we demonstrate that the softmax PG method with stepsize $η$ can take \[ \frac{1}η |\mathcal{S}|^{2^{Ω\big(\frac{1}{1-γ}\big)}} ~ ext{iterations} \] to converge, even in the presence of a benign policy initialization and an initial state distribution amenable to exploration (so that the distribution mismatch coefficient is not exceedingly large). This is accomplished by characterizing the algorithmic dynamics over a carefully-constructed MDP containing only three actions. Our exponential lower bound hints at the necessity of carefully adjusting update rules or enforcing proper regularization in accelerating PG methods.

研究动机与目标

• 研究在折扣无限时域表格型MDP中，softmax策略梯度方法的最坏情况迭代复杂度。
• 确定收敛速率是否对状态空间大小 $|\mathcal{S}|$ 和有效时域 $1/(1-\gamma)$ 敏感。
• 通过揭示潜在的指数级运行时间，挑战近期全局收敛结果意味着实际效率的假设。
• 构造一个困难的MDP实例，以暴露在精确梯度计算下softmax PG方法的算法局限性。

提出的方法

• 作者设计了一个仅包含三个动作的精心构造的MDP，以诱导缓慢的收敛动力学。
• 他们分析了在softmax参数化下的策略梯度更新，追踪随时间推移的动作值差异和策略概率的变化。
• 该分析利用了策略更新与梯度变化之间的递归关系，特别关注差异 $\theta(s,a_1) - \theta(s,a_2)$。
• 他们通过指数和线性近似推导出每步的策略改进界限，依赖于不等式 $e^x - 1 \leq 2x$（当 $x$ 较小时）。
• 一个关键技术是追踪策略概率跨越阈值的“交叉时间”，从而实现对收敛速度的逐步控制。
• 证明使用了对达到目标策略所需时间的递归下界，表明 $t_s(\tau_s) - t_{\text{ref}}$ 随 $t_{s-2}(\tau_{s-2})^{1.5}$ 增长，导致指数级爆炸。

实验结果

研究问题

• RQ1 即使在使用精确梯度的情况下，softmax策略梯度方法在最坏情况下是否可能以多项式时间收敛？
• RQ2 收敛时间对状态空间大小 $|\mathcal{S}|$ 和有效时域 $1/(1-\gamma)$ 的依赖关系如何？
• RQ3 先前工作中softmax PG方法表现出的全局收敛性是否足以保证实际效率？
• RQ4 能否构造一个困难的MDP，使得softmax PG需要指数级迭代次数才能收敛？
• RQ5 在良性初始化和有利探索条件下，该指数下界是否仍然成立？

主要发现

• 即使在精确梯度计算下，softmax策略梯度方法仍至少需要 $|1/\eta| \cdot |\mathcal{S}|^{2^{\Omega(1/(1-\gamma))}}$ 次迭代才能收敛。
• 尽管初始策略为良性且初始状态分布具有有界分布差异，该指数下界依然成立。
• 收敛时间对有效时域 $1/(1-\gamma)$ 的依赖呈超指数增长，这在实际中可能非常大。
• 该下界通过策略更新的递归分析建立，表明每步的改进随时间迅速减弱。
• 该构造依赖于一个三动作MDP，其中次优动作的策略概率缓慢衰减，从而延迟收敛。
• 该结果意味着朴素的softmax PG方法可能无法高效扩展，提示需要改进的更新规则或正则化方法以加速收敛。