[论文解读] Sample and Communication-Efficient Decentralized Actor-Critic Algorithms with Finite-Time Analysis

Ziyi Chen, Yi Zhou+2 more|arXiv (Cornell University)|Sep 8, 2021

Reinforcement Learning in Robotics参考文献 58被引用 4

一句话总结

该论文提出了一种去中心化的演员-评论家（AC）与自然演员-评论家（NAC）算法，通过仅共享噪声奖励并使用小批量本地策略梯度，实现了高样本效率与通信效率。在马尔可夫采样与线性函数逼近下，该算法在AC中达到最优的样本复杂度$\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$，在NAC中达到$\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$，同时通信复杂度提升至$\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$，并通过避免共享本地动作与策略，有效保护了隐私。

ABSTRACT

Actor-critic (AC) algorithms have been widely adopted in decentralized multi-agent systems to learn the optimal joint control policy. However, existing decentralized AC algorithms either do not preserve the privacy of agents or are not sample and communication-efficient. In this work, we develop two decentralized AC and natural AC (NAC) algorithms that are private, and sample and communication-efficient. In both algorithms, agents share noisy information to preserve privacy and adopt mini-batch updates to improve sample and communication efficiency. Particularly for decentralized NAC, we develop a decentralized Markovian SGD algorithm with an adaptive mini-batch size to efficiently compute the natural policy gradient. Under Markovian sampling and linear function approximation, we prove the proposed decentralized AC and NAC algorithms achieve the state-of-the-art sample complexities $\mathcal{O}\big(ε^{-2}\ln(ε^{-1})\big)$ and $\mathcal{O}\big(ε^{-3}\ln(ε^{-1})\big)$, respectively, and the same small communication complexity $\mathcal{O}\big(ε^{-1}\ln(ε^{-1})\big)$. Numerical experiments demonstrate that the proposed algorithms achieve lower sample and communication complexities than the existing decentralized AC algorithm.

研究动机与目标

• 设计一种去中心化演员-评论家算法，实现高样本效率与通信效率，同时避免共享敏感的本地信息（如动作与策略）。
• 设计一种完全去中心化且计算可处理的方案，用于计算自然策略梯度，而无需依赖对费雪信息矩阵求逆的集中式计算。
• 在马尔可夫采样与线性函数逼近下，建立有限时间收敛保证。
• 相比现有去中心化AC与NAC方法，实现更优的样本复杂度与通信复杂度。

提出的方法

• 通过仅共享噪声奖励而非原始本地奖励、动作或策略，以保护隐私。
• 利用小批量更新计算本地策略梯度，以提升样本与通信效率。
• 为NAC变体开发了一种具有自适应小批量大小的去中心化马尔可夫随机梯度下降（SGD）算法，以高效计算自然策略梯度。
• 算法采用线性函数逼近价值函数与策略，从而在马尔可夫采样下支持理论分析。
• 通过严格分析期望策略梯度范数与次优性间隙，建立有限时间收敛性。
• 通过使用去中心化、自适应批量大小方案，避免了对费雪信息矩阵求逆的集中式计算。

实验结果

研究问题

• RQ1 能否设计一种去中心化演员-评论家算法，使其在避免共享本地动作与策略的同时，兼具高样本效率与通信效率？
• RQ2 能否开发一种完全去中心化的自然演员-评论家算法，实现自然策略梯度的高效计算，而无需集中访问费雪矩阵？
• RQ3 在马尔可夫采样与线性函数逼近下，去中心化AC与NAC算法的有限时间样本复杂度与通信复杂度是多少？
• RQ4 与现有去中心化AC与NAC方法相比，所提算法在收敛速度与复杂度方面表现如何？

主要发现

• 所提出的去中心化AC算法在实现$\mathbb{E}[\|\nabla J(\omega)\|^2] \leq \epsilon$时，达到$\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$的样本复杂度。
• 去中心化NAC算法在实现$\mathbb{E}[J(\omega^*) - J(\omega)] \leq \epsilon$时，达到$\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$的样本复杂度。
• 两种算法均实现$\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$的通信复杂度，优于现有方法。
• 数值实验表明，所提算法收敛速度更快，且函数值差距更低，优于现有去中心化AC算法（如DAC-RP1与DAC-RP100）。
• 性能差距归因于更精确的奖励估计与更低的TD误差，而非先前方法中不准确的平均化处理。
• 理论分析证实，在马尔可夫采样与线性函数逼近下，算法具备有限时间收敛性，且对策略梯度与次优性提供了显式上界。