[论文解读] Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy

Zuyue Fu, Zhuoran Yang+1 more|arXiv (Cornell University)|Aug 2, 2020

Reinforcement Learning in Robotics参考文献 80被引用 16

一句话总结

该论文首次为采用线性函数逼近和深度神经网络函数逼近的单时标演员-评论家强化学习提供了全局收敛性和全局最优性的保证。论文证明，在无需双层或双时标假设的实用同步更新设置下，演员序列以子线性 $O(K^{-1/2})$ 的速率收敛至全局最优策略，其中 $K$ 为迭代次数。

ABSTRACT

We study the global convergence and global optimality of actor-critic, one of the most popular families of reinforcement learning algorithms. While most existing works on actor-critic employ bi-level or two-timescale updates, we focus on the more practical single-timescale setting, where the actor and critic are updated simultaneously. Specifically, in each iteration, the critic update is obtained by applying the Bellman evaluation operator only once while the actor is updated in the policy gradient direction computed using the critic. Moreover, we consider two function approximation settings where both the actor and critic are represented by linear or deep neural networks. For both cases, we prove that the actor sequence converges to a globally optimal policy at a sublinear $O(K^{-1/2})$ rate, where $K$ is the number of iterations. To the best of our knowledge, we establish the rate of convergence and global optimality of single-timescale actor-critic with linear function approximation for the first time. Moreover, under the broader scope of policy optimization with nonlinear function approximation, we prove that actor-critic with deep neural network finds the globally optimal policy at a sublinear rate for the first time.

研究动机与目标

• 弥合实际单时标演员-评论家算法与其收敛性保证之间的理论差距。
• 在单时标设置下，为采用线性函数逼近的演员-评论家方法建立全局收敛性和全局最优性。
• 在单时标更新下，证明使用深度神经网络的演员-评论家方法的全局最优性和次线性收敛性。
• 在不依赖双层或双时标假设的前提下，分析单时标演员-评论家方法的收敛性。
• 为广泛使用的深度强化学习算法（如PPO和SAC）提供理论基础，这些算法运行在单时标框架下。

提出的方法

• 该算法采用同步更新方式，演员和评论家在单一时标下进行更新，其中评论家在每次迭代中通过一次应用贝尔曼评估算子进行更新。
• 演员通过使用当前评论家估计值沿策略梯度方向进行更新，遵循近端策略优化（PPO）风格的更新方式。
• 评论家使用线性或深度神经网络表示，演员则使用由神经网络参数化的能量基策略。
• 分析利用了一种新颖的李雅普诺夫函数，并通过柯西-施瓦茨不等式和假设C.1中的密度比控制来建立误差界。
• 通过限制策略梯度误差并证明演员序列趋近于全局最优策略，从而证明了收敛性。
• 该证明依赖于通过涉及 $ au_{k+1}^{-1} ho_{k+1,f}$ 和 $eta_k^{-1} Q_{ heta_k}$ 的误差项，控制真实策略梯度与估计值之间的差异。

实验结果

研究问题

• RQ1 采用线性函数逼近的单时标演员-评论家方法是否能保证收敛至全局最优策略？
• RQ2 采用深度神经网络函数逼近的单时标演员-评论家方法能否实现全局最优性？
• RQ3 在采用线性和非线性函数逼近时，单时标演员-评论家方法的收敛速率是多少？
• RQ4 如何在不依赖双层或双时标假设的前提下保证全局最优性？
• RQ5 能否将演员-评论家方法的理论分析扩展至采用同步更新的实际深度强化学习算法？

主要发现

• 在采用线性函数逼近和深度神经网络函数逼近的两种设置下，演员序列均以子线性速率 $O(K^{-1/2})$ 收敛至全局最优策略。
• 这是首项在单时标演员-评论家方法中建立全局收敛性和全局最优性的研究工作。
• 对于深度神经网络函数逼近，本工作首次在单时标设置下证明了全局最优性和子线性收敛性。
• 该收敛速率是在单一时标更新方案下推导得出，无需依赖无限时间的评论家更新或单独的、趋于零的演员步长。
• 通过密度比界控制策略梯度估计误差，并利用一种新颖的李雅普诺夫函数建立收敛性。
• 研究结果验证了实际演员-评论家算法（如PPO和SAC）的理论合理性，这些算法在单时标框架下运行。