[论文解读] Non-asymptotic Convergence of Adam-type Reinforcement Learning Algorithms under Markovian Sampling

Huaqing Xiong, Tengyu Xu+2 more|arXiv (Cornell University)|Feb 15, 2020

Reinforcement Learning in Robotics参考文献 65被引用 11

一句话总结

本文首次对在马尔可夫采样下的Adam型强化学习算法——PG-AMSGrad与TD-AMSGrad——进行了非渐近收敛性分析。在递减步长下，其收敛速率为 $\mathcal{O}(\log^2 T / \sqrt{T})$，收敛至一个驻点；在常数步长下，收敛至最优解的邻域，速率为 $\mathcal{O}(1/T)$，分别适用于一般非线性与线性函数逼近。

ABSTRACT

Despite the wide applications of Adam in reinforcement learning (RL), the theoretical convergence of Adam-type RL algorithms has not been established. This paper provides the first such convergence analysis for two fundamental RL algorithms of policy gradient (PG) and temporal difference (TD) learning that incorporate AMSGrad updates (a standard alternative of Adam in theoretical analysis), referred to as PG-AMSGrad and TD-AMSGrad, respectively. Moreover, our analysis focuses on Markovian sampling for both algorithms. We show that under general nonlinear function approximation, PG-AMSGrad with a constant stepsize converges to a neighborhood of a stationary point at the rate of $\mathcal{O}(1/T)$ (where $T$ denotes the number of iterations), and with a diminishing stepsize converges exactly to a stationary point at the rate of $\mathcal{O}(\log^2 T/\sqrt{T})$. Furthermore, under linear function approximation, TD-AMSGrad with a constant stepsize converges to a neighborhood of the global optimum at the rate of $\mathcal{O}(1/T)$, and with a diminishing stepsize converges exactly to the global optimum at the rate of $\mathcal{O}(\log T/\sqrt{T})$. Our study develops new techniques for analyzing the Adam-type RL algorithms under Markovian sampling.

研究动机与目标

• 在真实强化学习场景中常见的马尔可夫采样下，建立Adam型强化学习算法的首个非渐近收敛保证。
• 解决在策略梯度与时序差分学习中，由于非独立同分布样本导致的梯度估计偏差问题，尤其是在自适应动量更新下。
• 提出新颖的分析技术，以控制在时变、非独立同分布采样过程中AMSGrad更新的偏差与方差。
• 通过适配的工具，在马尔可夫采样下改进现有原始策略梯度分析，推导出更紧致的收敛速率。
• 在一般与线性函数逼近下，为PG-AMSGrad与TD-AMSGrad在常数与递减步长调度下提供收敛速率。

提出的方法

• 提出PG-AMSGrad与TD-AMSGrad，作为将AMSGrad自适应更新规则应用于策略梯度与时序差分学习的扩展。
• 引入一种新颖的偏差控制机制，即使在自适应动量与非独立同分布采样下，也能将梯度估计误差控制在步长范围内。
• 在PG-AMSGrad中采用与参考过程耦合的技术，以解耦时变策略与马尔可夫转移的影响。
• 通过引理14与17应用几何级数界与矩控制，以处理AMSGrad中的自适应学习率动态。
• 利用Jensen不等式与迭代值的平均化，推导最终输出迭代值的收敛速率。
• 利用对梯度范数、函数逼近与混合时间的假设，以在分析中控制偏差与方差项。

实验结果

研究问题

• RQ1 在马尔可夫采样下，策略梯度与时序差分学习中的Adam型更新能否实现非渐近收敛？
• RQ2 在一般非线性与线性函数逼近下，PG-AMSGrad与TD-AMSGrad在常数与递减步长下的收敛速率为何？
• RQ3 如何在强化学习算法中形式化地界定并控制由非独立同分布采样与自适应动量引入的偏差？
• RQ4 所提出的分析技术能否改进马尔可夫采样下原始策略梯度的收敛速率？
• RQ5 当采样非独立同分布时，自适应优化在强化学习中的理论极限是什么？

主要发现

• 在一般非线性函数逼近下，PG-AMSGrad使用常数步长时，收敛至驻点邻域的速率为 $\mathcal{O}(1/T)$。
• 在一般非线性函数逼近下，PG-AMSGrad使用递减步长 $\alpha_t = \alpha / \sqrt{t}$ 时，精确收敛至驻点，速率为 $\mathcal{O}(\log^2 T / \sqrt{T})$。
• 在线性函数逼近下，TD-AMSGrad使用常数步长时，收敛至全局最优解邻域的速率为 $\mathcal{O}(1/T)$。
• 在线性函数逼近下，TD-AMSGrad使用递减步长时，精确收敛至全局最优解，速率为 $\mathcal{O}(\log T / \sqrt{T})$。
• 该分析引入了控制非独立同分布采样与自适应动量偏差的新技术，这些技术在标准Adam分析中并不存在。
• 推导出的收敛速率优于现有在马尔可夫采样下原始策略梯度的结果，实现了阶次更优的计算复杂度。