[论文解读] Towards Understanding Asynchronous Advantage Actor-critic: Convergence and Linear Speedup

Han Shen, Kaiqing Zhang+2 more|arXiv (Cornell University)|Dec 31, 2020

Electric Power System Optimization被引用 6

一句话总结

本文提供了异步优势演员评论家（A3C）算法的首个非渐近收敛性分析，证明了在独立同分布（i.i.d.）和马尔可夫采样下实现局部收敛，在Softmax策略参数化下实现全局收敛。研究证明A3C在N个工作者下实现线性加速，样本复杂度达到$\mathcal{O}(\epsilon^{-2.5}/N)$，从而从理论上验证了深度强化学习中并行化与异步性带来的优势。

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including its non-asymptotic analysis and the performance gain of parallelism (a.k.a. linear speedup). This paper revisits the A3C algorithm and establishes its non-asymptotic convergence guarantees. Under both i.i.d. and Markovian sampling, we establish the local convergence guarantee for A3C in the general policy approximation case and the global convergence guarantee in softmax policy parameterization. Under i.i.d. sampling, A3C obtains sample complexity of $\mathcal{O}(ε^{-2.5}/N)$ per worker to achieve $ε$ accuracy, where $N$ is the number of workers. Compared to the best-known sample complexity of $\mathcal{O}(ε^{-2.5})$ for two-timescale AC, A3C achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetic environment, OpenAI Gym environments and Atari games have been provided to verify our theoretical analysis.

研究动机与目标

• 为理解A3C的收敛性及其并行化带来的性能优势，填补理论空白。
• 在一般策略近似和Softmax参数化下，建立A3C的非渐近收敛保证。
• 通过样本复杂度分析，从理论上解释A3C中观察到的线性加速现象。

提出的方法

• 利用李雅普诺夫分析和漂移条件，推导出在i.i.d.和马尔可夫采样下的局部收敛性。
• 采用双时间尺度框架，解耦演员和评论家的更新，确保稳定性。
• 提出一种新颖的分析方法，利用马氏链混合界分析异步工作者之间时序差分误差的传播。
• 使用望远镜求和技巧，界定延迟更新下期望策略梯度误差的上界。
• 利用总变差距离和几何遍历性，控制异步更新中过时梯度带来的偏差。
• 通过将收敛速率与工作者数量N和目标精度ϵ关联，建立样本复杂度上界。

实验结果

研究问题

• RQ1 在何种条件下A3C收敛，且是否收敛至全局最优？
• RQ2 在i.i.d.和马尔可夫采样下，A3C的非渐近收敛速率如何？
• RQ3 A3C能否在样本复杂度上实现与N个并行工作者的线性加速？
• RQ4 异步更新机制如何影响收敛稳定性和偏差？
• RQ5 A3C在减少训练时间方面取得的实证成功，其理论依据是什么？

主要发现

• 在一般策略近似下，A3C在i.i.d.和马尔可夫采样下均实现局部收敛。
• 在Softmax策略参数化下，A3C实现全局收敛。
• 在i.i.d.采样下，A3C每名工作者的样本复杂度为$\mathcal{O}(\epsilon^{-2.5}/N)$，可达到$\epsilon$-精度。
• 该样本复杂度与双时间尺度AC方法的最佳已知速率一致，表明A3C在N个工作进程下实现线性加速。
• 理论分析证实，A3C中的并行化与异步性确实提供了可证明的计算优势。
• 在合成环境、OpenAI Gym和Atari环境中的数值实验验证了理论收敛性与加速性能。