[论文解读] Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator

Yuwei Luo, Zhuoran Yang+2 more|arXiv (Cornell University)|Dec 14, 2019

Reinforcement Learning in Robotics参考文献 57被引用 8

一句话总结

该论文提出了一种分层自然演员-评论家算法，用于在部分可交换性条件下的多智能体线性二次调节器，实现了与智能体数量无关的计算复杂度的无模型学习。该方法建立了全局线性收敛至最优策略，克服了异构多智能体系统中的维数灾难。

ABSTRACT

Multi-agent reinforcement learning has been successfully applied to a number of challenging problems. Despite these empirical successes, theoretical understanding of different algorithms is lacking, primarily due to the curse of dimensionality caused by the exponential growth of the state-action space with the number of agents. We study a fundamental problem of multi-agent linear quadratic regulator (LQR) in a setting where the agents are partially exchangeable. In this setting, we develop a hierarchical actor-critic algorithm, whose computational complexity is independent of the total number of agents, and prove its global linear convergence to the optimal policy. As LQRs are often used to approximate general dynamic systems, this paper provides an important step towards a better understanding of general hierarchical mean-field multi-agent reinforcement learning.

研究动机与目标

• 解决多智能体强化学习（MARL）中高维状态-动作空间的挑战，特别是当智能体并非完全可交换时。
• 通过分层子群体结构利用部分可交换性，克服MARL中的维数灾难。
• 开发一种无模型、计算高效的演员-评论家算法，其复杂度与每个子群体中智能体数量无关。
• 在分层线性二次调节器的背景下，为所提出的算法建立非渐近全局收敛保证。
• 通过将自然演员-评论家方法扩展至结构化、异构智能体系统，为分层平均场MARL提供理论基础。

提出的方法

• 利用部分可交换性，将多智能体LQR分解为子群体层面的控制问题，其中每个子群体内的智能体具有对称性。
• 为每个子群体定义辅助系统，通过使用中心化状态、动作和噪声变量，将平均场效应与个体智能体动态解耦。
• 构建分层演员-评论家框架，其中评论家使用平均场动态估计价值函数，演员通过自然策略梯度更新策略。
• 使用块矩阵分解，将群体内（对角）和群体间（非对角）的系统动态与代价矩阵分离。
• 应用自然策略梯度更新并估计Fisher信息矩阵，以提高样本效率和收敛稳定性。
• 引入聚合的平均场向量和分块系统矩阵，以表示跨子群体的集体智能体行为，实现可扩展学习。

实验结果

研究问题

• RQ1 无模型演员-评论家算法是否能在具有部分可交换性的分层多智能体LQR系统中实现全局收敛？
• RQ2 所提出的分层自然演员-评论家算法是否能保持与总智能体数量无关的计算效率？
• RQ3 该算法如何在保持收敛保证的同时处理子群体间的异质性？
• RQ4 在多智能体LQR背景下，分层演员-评论家算法的非渐近收敛速率是多少？
• RQ5 自然策略梯度框架能否扩展至具有可证明全局收敛性的分层平均场MARL？

主要发现

• 所提出的分层自然演员-评论家算法在部分可交换性条件下，于多智能体LQR设置中实现了对最优策略的全局线性收敛。
• 该算法的计算复杂度与每个子群体中智能体数量无关，有效打破了维数灾难。
• 收敛速率是非渐近且线性的，意味着在适当条件下，误差随迭代次数呈指数下降。
• 该方法通过平均场近似成功地将系统解耦为子群体层面的问题，实现了在异构智能体系统中的可扩展学习。
• 理论分析证实，自然策略梯度更新即使在高维设置下也能确保稳定且高效的策略改进。
• 该框架通过允许多个平均场和异构子群体，推广了平均场MARL，拓宽了其在交通控制和多单元机器人等现实系统中的适用性。