[论文解读] On the Global Convergence Rates of Softmax Policy Gradient Methods

Jincheng Mei, Chenjun Xiao+2 more|arXiv (Cornell University)|May 13, 2020

Stochastic Gradient Optimization Techniques被引用 60

一句话总结

本文在表格设定下建立了 softmax 策略梯度方法的全局收敛速率，表明使用真实梯度时收敛速率为 $O(1/t)$，而在熵正则化下收敛速率更快，达到 $O(e^{-c t})$。该工作通过将改进的收敛性与非均匀 Łojasiewicz 次数联系起来，解决了一个开放问题，并为熵正则化的经验成功提供了理论依据。

ABSTRACT

We make three contributions toward better understanding policy gradient methods in the tabular setting. First, we show that with the true gradient, policy gradient with a softmax parametrization converges at a $O(1/t)$ rate, with constants depending on the problem and initialization. This result significantly expands the recent asymptotic convergence results. The analysis relies on two findings: that the softmax policy gradient satisfies a \L{}ojasiewicz inequality, and the minimum probability of an optimal action during optimization can be bounded in terms of its initial value. Second, we analyze entropy regularized policy gradient and show that it enjoys a significantly faster linear convergence rate $O(e^{-c \cdot t})$ toward softmax optimal policy $(c > 0)$. This result resolves an open question in the recent literature. Finally, combining the above two results and additional new $\Omega(1/t)$ lower bound results, we explain how entropy regularization improves policy optimization, even with the true gradient, from the perspective of convergence rate. The separation of rates is further explained using the notion of non-uniform \L{}ojasiewicz degree. These results provide a theoretical understanding of the impact of entropy and corroborate existing empirical studies.

研究动机与目标

• 理解在表格设定下 softmax 策略梯度方法的全局收敛行为。
• 解决关于熵正则化是否能加速策略梯度方法收敛的开放问题。
• 利用 Łojasiewicz 不等式和非均匀 Łojasiewicz 次数，解释熵正则化对收敛速率的理论影响。
• 建立紧致的 $\Omega(1/t)$ 下界，以对比有正则化与无正则化情况下的收敛速率。

提出的方法

• 通过 Łojasiewicz 不等式分析 softmax 策略梯度，以建立使用真实梯度时的 $O(1/t)$ 全局收敛速率。
• 将熵正则化引入策略梯度目标函数，以加速收敛。
• 证明熵正则化策略梯度具有线性收敛速率 $O(e^{-c t})$，其中 $c > 0$。
• 以初始值表示优化过程中最优动作最小概率的下界。
• 利用非均匀 Łojasiewicz 次数的概念，解释正则化与非正则化方法之间收敛速率的差异。
• 推导出 $\Omega(1/t)$ 下界，以证明 $O(1/t)$ 收敛速率的紧致性。

实验结果

研究问题

• RQ1 在表格设定下，使用真实梯度的 softmax 策略梯度的全局收敛速率是什么？
• RQ2 熵正则化是否能提升策略梯度方法的收敛速率？
• RQ3 非均匀 Łojasiewicz 次数如何解释正则化与非正则化策略梯度之间的性能差距？
• RQ4 能否为 softmax 策略梯度的收敛速率建立紧致的下界？
• RQ5 熵正则化在策略优化中通过何种理论机制改善收敛性？

主要发现

• 使用真实梯度的 softmax 策略梯度以全局速率 $O(1/t)$ 收敛，常数取决于问题设定和初始化方式。
• 熵正则化策略梯度以线性收敛速率 $O(e^{-c t})$ 收敛至 softmax 最优策略，其中 $c > 0$。
• 熵正则化带来的收敛速率提升可通过非均匀 Łojasiewicz 次数解释，该概念捕捉了问题的内在几何结构。
• 建立了 $\Omega(1/t)$ 下界，证实 $O(1/t)$ 收敛速率对无正则化策略梯度而言是紧致的。
• 研究结果为熵正则化在策略优化中经验成功的理论基础提供了支持。
• 分析表明，优化过程中最优动作的最小概率被其初始值的函数所下界控制，从而支持收敛速率的分析。