[论文解读] Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning

Yitian Hong, Yaochu Jin+1 more|arXiv (Cornell University)|Sep 20, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文指出，在合作式多智能体强化学习中，个体全局最大值（IGM）分解本质上是损失性的，导致基于超网络的值分解方法中误差累积。为解决此问题，作者提出IGM-DA，一种新颖的训练范式，通过集成基于DAgger的模仿学习，将损失性分解与Bellman更新解耦，显著提升了SMAC基准测试中的性能，尤其在零视野观测场景下表现突出。

ABSTRACT

In cooperative multi-agent reinforcement learning, centralized training and decentralized execution (CTDE) has achieved remarkable success. Individual Global Max (IGM) decomposition, which is an important element of CTDE, measures the consistency between local and joint policies. The majority of IGM-based research focuses on how to establish this consistent relationship, but little attention has been paid to examining IGM's potential flaws. In this work, we reveal that the IGM condition is a lossy decomposition, and the error of lossy decomposition will accumulated in hypernetwork-based methods. To address the above issue, we propose to adopt an imitation learning strategy to separate the lossy decomposition from Bellman iterations, thereby avoiding error accumulation. The proposed strategy is theoretically proved and empirically verified on the StarCraft Multi-Agent Challenge benchmark problem with zero sight view. The results also confirm that the proposed method outperforms state-of-the-art IGM-based approaches.

研究动机与目标

• 探究合作式多智能体强化学习中个体全局最大值（IGM）分解的根本局限性。
• 识别出基于IGM的值分解具有损失性，且该损失性导致的误差在基于超网络的MARL算法训练过程中累积，从而降低性能。
• 开发一种训练框架，通过将损失性分解与Bellman更新解耦，防止误差累积。
• 在部分可观测环境下，通过实证验证所提方法在多种最先进IGM基算法中的有效性。
• 在极端低感知环境（如零视野观测场景）中，展示方法的鲁棒性与性能提升。

提出的方法

• 提出IGM-DA，一种两阶段训练框架：首先训练一个集中式全局观测MARL智能体作为专家策略。
• 使用DAgger（数据集聚合）模仿学习，将专家的全局策略蒸馏为局部观测策略，避免因损失性分解导致的误差直接传播。
• 通过模仿学习学习从全局观测到局部观测的策略映射，从而将值分解过程与Bellman更新解耦。
• 将基于DAgger的策略蒸馏集成到现有IGM基算法（QMIX、QPLEX、DMIX）中，提升其在部分可观测性下的鲁棒性。
• 理论上证明，通过将损失性分解与时序差分学习过程分离，可避免误差累积。
• 采用混合训练流程：专家策略通过集中式强化学习训练，学生策略则通过使用专家演示的模仿学习进行优化。

实验结果

研究问题

• RQ1 在值分解方法中，个体全局最大值（IGM）分解是否等价？还是本质上具有损失性？
• RQ2 在基于超网络的MARL算法中，损失性IGM分解导致的误差是否会在训练过程中累积？
• RQ3 如DAgger等模仿学习技术能否有效缓解由损失性IGM分解引起的误差累积？
• RQ4 所提出的IGM-DA框架如何提升在感知受限环境（如SMAC零视野场景）下的合作式MARL基准性能？
• RQ5 IGM-DA的性能增益在多大程度上依赖于环境的可观测性水平？

主要发现

• IGM分解本质上具有损失性，这种损失性导致在基于超网络的值分解方法训练过程中产生误差累积。
• 所提出的IGM-DA框架在SMAC基准测试中显著提升性能，QMIX-DA在3s5z场景下实现93.3%胜率（对比标准QMIX的90.2%），尤其在零视野观测下表现优异。
• QPLEX-DA在所有环境中平均得分为63.1%（对比QPLEX的41.0%），在MMM2等高难度任务中实现显著提升。
• DMIX-DA平均得分为67.0%（对比DMIX的50.4%），证实该方法在多种IGM基架构中均具有效性。
• 消融实验表明，DAgger在复杂环境（如MMM2）中显著优于行为克隆，DAgger实现55.4%胜率，而BC仅为46.2%。
• IGM-DA的性能增益在极端低感知设置（如零视野）下最为显著，随着感知范围增大，增益逐渐减弱。