[论文解读] On the Approximation of Cooperative Heterogeneous Multi-Agent Reinforcement Learning (MARL) using Mean Field Control (MFC)

Washim Uddin Mondal, Mridul Agarwal+2 more|arXiv (Cornell University)|Sep 8, 2021

Reinforcement Learning in Robotics被引用 11

一句话总结

该论文提出了一种平均场控制（MFC）框架，用于近似具有 K 个不同智能体类别的合作异构多智能体强化学习（MARL），并证明了近似误差界，其规模与类大小的平方根倒数成正比。该研究提出了一种基于自然策略梯度（NPG）的算法，在三种不同的交互情景下，实现了在 O(e_j) 误差范围内收敛至近似最优的 MARL 策略，样本复杂度为 O(e_j^{-3})。

ABSTRACT

Mean field control (MFC) is an effective way to mitigate the curse of dimensionality of cooperative multi-agent reinforcement learning (MARL) problems. This work considers a collection of $N_{\\mathrm{pop}}$ heterogeneous agents that can be segregated into $K$ classes such that the $k$-th class contains $N_k$ homogeneous agents. We aim to prove approximation guarantees of the MARL problem for this heterogeneous system by its corresponding MFC problem. We consider three scenarios where the reward and transition dynamics of all agents are respectively taken to be functions of $(1)$ joint state and action distributions across all classes, $(2)$ individual distributions of each class, and $(3)$ marginal distributions of the entire population. We show that, in these cases, the $K$-class MARL problem can be approximated by MFC with errors given as $e_1=\\mathcal{O}(\\frac{\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}}{N_{\\mathrm{pop}}}\\sum_{k}\\sqrt{N_k})$, $e_2=\\mathcal{O}(\\left[\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}\ ight]\\sum_{k}\\frac{1}{\\sqrt{N_k}})$ and $e_3=\\mathcal{O}\\left(\\left[\\sqrt{|\\mathcal{X}|}+\\sqrt{|\\mathcal{U}|}\ ight]\\left[\\frac{A}{N_{\\mathrm{pop}}}\\sum_{k\\in[K]}\\sqrt{N_k}+\\frac{B}{\\sqrt{N_{\\mathrm{pop}}}}\ ight]\ ight)$, respectively, where $A, B$ are some constants and $|\\mathcal{X}|,|\\mathcal{U}|$ are the sizes of state and action spaces of each agent. Finally, we design a Natural Policy Gradient (NPG) based algorithm that, in the three cases stated above, can converge to an optimal MARL policy within $\\mathcal{O}(e_j)$ error with a sample complexity of $\\mathcal{O}(e_j^{-3})$, $j\\in\\{1,2,3\\}$, respectively.

研究动机与目标

• 为解决合作异构多智能体强化学习（MARL）中缺乏可扩展且全局收敛的方法的问题，尤其针对不同类型的智能体。
• 建立有限群体 MARL 与平均场控制（MFC）之间在 K 个异构智能体类别下的严格近似保证。
• 设计一种样本高效的策略梯度算法，使其在所提出的 MFC 近似下收敛至近似最优的 MARL 策略。
• 分析三种不同的交互模式：联合分布依赖、单个类别分布依赖和边缘群体分布依赖。
• 将传统 MFC 扩展至异构系统，允许类间交互与类特定动力学。

提出的方法

• 将 N_pop 个异构智能体组成的群体划分为 K 个类别，每个类别包含 N_k 个同质智能体，从而实现类别层面的对称性，并建模类间交互。
• 基于奖励函数和转移函数对群体分布的依赖方式，推导出三种不同的 MFC 近似情景：联合分布、单个类别分布和边缘分布。
• 在 MFC 极限下建立奖励、转移和策略函数的利普希茨连续性，通过总变差距离实现误差传播分析。
• 通过归一化的类别分布 μ̄ 和 ν̄，将 K 类 MARL 问题转化为等价的 MFC 问题，确保各类别间的一致性。
• 利用稳定性与压缩性论证，证明近似误差界，其显式依赖于 |X|、|U| 和 1/√N_k 项。
• 为 MFC 问题设计一种自然策略梯度（NPG）算法，证明在三种情景下，其误差收敛至 O(e_j)，样本复杂度为 O(e_j^{-3})。

实验结果

研究问题

• RQ1 合作 MARL 中，具有 K 个异构智能体类别的系统能否被有效近似为 K 类平均场控制（MFC）框架？
• RQ2 在奖励与转移函数依赖结构不同的情况下，有限群体 MARL 与其对应 MFC 极限之间的近似误差是多少？
• RQ3 在异构 MARL 系统中，误差如何随单个智能体类规模及总体群体规模变化？
• RQ4 能否设计一种样本高效的策略梯度算法，通过 MFC 近似收敛至近似最优的 MARL 策略？
• RQ5 所提出的基于 NPG 的算法在不同交互模式下的理论样本复杂度与收敛速率如何？

主要发现

• 在联合分布情景下，近似误差被限制为 e₁ = O((√|X| + √|U|)/N_pop × ∑ₖ √Nₖ)，表现出对类规模的反比依赖。
• 在单个类别分布情景下，误差为 e₂ = O((√|X| + √|U|) × ∑ₖ 1/√Nₖ)，表明对较小类别的依赖更强。
• 在边缘分布情景下，误差为 e₃ = O((√|X| + √|U|) × (A/N_pop × ∑ₖ √Nₖ + B/√N_pop))，其中包含额外常数 A 和 B。
• 所提出的基于 NPG 的算法在每种情景 j ∈ {1,2,3} 下均实现 O(e_j) 误差范围内的收敛，样本复杂度为 O(e_j^{-3})。
• 理论边界在奖励、转移和策略函数的利普希茨连续性假设下推导得出，确保了在 MFC 极限下的稳定性。
• 该框架通过允许类间交互与类特定动力学，将传统 MFC 扩展至异构系统，使其可应用于现实世界中的异构系统，如拼车服务或智能电网。