[论文解读] On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost

Zhuoran Yang, Yongxin Chen+2 more|arXiv (Cornell University)|Jul 14, 2019

Reinforcement Learning in Robotics参考文献 65被引用 27

一句话总结

该论文首次对具有遍历代价的线性二次调节器（LQR）的演员-评论家算法进行了非渐近全局收敛性分析，证明了其以线性速率收敛至全局最优策略与动作价值函数。该研究通过分析连续动作空间下演员与评论家更新之间的异步交互关系，解决了演员-评论家方法中的关键不稳定性问题，结合随机逼近理论实现理论突破。

ABSTRACT

Despite the empirical success of the actor-critic algorithm, its theoretical understanding lags behind. In a broader context, actor-critic can be viewed as an online alternating update algorithm for bilevel optimization, whose convergence is known to be fragile. To understand the instability of actor-critic, we focus on its application to linear quadratic regulators, a simple yet fundamental setting of reinforcement learning. We establish a nonasymptotic convergence analysis of actor-critic in this setting. In particular, we prove that actor-critic finds a globally optimal pair of actor (policy) and critic (action-value function) at a linear rate of convergence. Our analysis may serve as a preliminary step towards a complete theoretical understanding of bilevel optimization with nonconvex subproblems, which is NP-hard in the worst case and is often solved using heuristics.

研究动机与目标

• 为解决强化学习中演员-评论家算法因算法不稳定性而缺乏理论理解的问题。
• 在具有遍历代价的基本LQR设置中，提供演员-评论家算法的非渐近收敛性分析。
• 建立演员-评论家对全局最优解的线性收敛速率，克服经典双时间尺度渐近分析的局限性。
• 刻画该设置下实现收敛所需的样本复杂度。
• 为具有非凸子问题与依赖数据的双层优化问题构建一种新型分析框架。

提出的方法

• 在具有遍历代价的LQR设置中，提出演员-评论家算法的非渐近收敛性分析，将其建模为双层优化问题。
• 分析演员（策略梯度）与评论家（梯度时差）之间更新的异步性，处理动态目标与梯度偏差问题。
• 在依赖数据与遍历代价条件下，为梯度时差算法建立次线性收敛速率，这是关键的技术性副产品。
• 利用矩阵分析与谱界刻画类似Hessian的算子的最小奇异值，确保其可逆性与稳定性。
• 应用对称Kronecker积与特征值分解的结果，对系统矩阵的条件数进行上界估计。
• 以闭环系统的谱半径与噪声方差为参数，推导出系统矩阵条件数的显式上界。

实验结果

研究问题

• RQ1 尽管存在算法不稳定性，演员-评论家在具有遍历代价的LQR设置中能否实现全局收敛？
• RQ2 该设置下演员-评论家的非渐近收敛速率是多少？是否可实现线性收敛？
• RQ3 演员与评论家更新之间的相互作用如何影响收敛性？其理论控制机制是什么？
• RQ4 在具有遍历代价的LQR中，演员-评论家收敛至最优策略所需的样本复杂度是多少？
• RQ5 在依赖数据与遍历代价条件下，能否对梯度时差算法实现收敛性分析？

主要发现

• 在具有遍历代价的LQR设置中，演员-评论家以线性速率全局收敛至最优策略与动作价值函数。
• 该分析提供了非渐近收敛速率与样本复杂度边界，与经典双时间尺度渐近分析形成对比。
• 在闭环系统谱半径与噪声方差满足弱条件时，系统矩阵的最小奇异值被远离零所保证。
• 在依赖数据与遍历代价条件下，为梯度时差算法建立了次线性收敛速率，该结果具有独立研究价值。
• 系统矩阵的条件数以闭环系统的谱半径与状态-动作协方差矩阵的最小特征值为参数进行有界。
• 分析表明，在适当步长与噪声条件下，即使在连续动作空间与随机逼近设置下，全局收敛仍可实现。