[论文解读] Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning

Wei Fu, Chao Yu+3 more|arXiv (Cornell University)|Jun 15, 2022

Reinforcement Learning in Robotics被引用 13

一句话总结

本文挑战了合作多智能体强化学习中两种常见做法——值分解和参数共享——指出它们在多模态环境中的失效问题。论文提出采用智能体特定或自回归策略的策略梯度方法，在《星际争霸》和Google Research Football等复杂环境中展现出更优性能与涌现协作行为。

ABSTRACT

Many advances in cooperative multi-agent reinforcement learning (MARL) are based on two common design principles: value decomposition and parameter sharing. A typical MARL algorithm of this fashion decomposes a centralized Q-function into local Q-networks with parameters shared across agents. Such an algorithmic paradigm enables centralized training and decentralized execution (CTDE) and leads to efficient learning in practice. Despite all the advantages, we revisit these two principles and show that in certain scenarios, e.g., environments with a highly multi-modal reward landscape, value decomposition, and parameter sharing can be problematic and lead to undesired outcomes. In contrast, policy gradient (PG) methods with individual policies provably converge to an optimal solution in these cases, which partially supports some recent empirical observations that PG can be effective in many MARL testbeds. Inspired by our theoretical analysis, we present practical suggestions on implementing multi-agent PG algorithms for either high rewards or diverse emergent behaviors and empirically validate our findings on a variety of domains, ranging from the simplified matrix and grid-world games to complex benchmarks such as StarCraft Multi-Agent Challenge and Google Research Football. We hope our insights could benefit the community towards developing more general and more powerful MARL algorithms. Check our project website at https://sites.google.com/view/revisiting-marl.

研究动机与目标

• 分析在多模态奖励景观下，值分解与参数共享在合作多智能体强化学习中的局限性。
• 探究为何在存在多个最优解的场景中，策略梯度方法能优于基于值的方法。
• 为在合作马尔可夫博弈中有效实现策略梯度算法提供实用指导。
• 通过复杂环境（如SMAC和GRF）中的先进策略表示，发现并验证涌现的协调行为。

提出的方法

• 通过2×2异或博弈的理论分析，证明值分解因IGM原则的限制，无法表示对称最优解。
• 提出个体（智能体特定）策略，以提升多智能体环境中的收敛性与最终奖励。
• 引入基于注意力机制的自回归策略表示，以在计算开销最小的前提下捕捉多模态行为。
• 采用课程学习与内在好奇心等训练技术，以稳定自回归策略的训练过程。
• 在简化游戏（异或、桥梁）、SMAC和Google Research Football上验证方法，比较性能与涌现行为。
• 在基准环境中应用基于智能体特定与自回归策略的多智能体近端策略优化（PPO）算法。

实验结果

研究问题

• RQ1 在多模态合作环境中，值分解是否可能无法表示最优策略？
• RQ2 为何采用个体策略的策略梯度方法在某些MARL基准中优于基于值的方法？
• RQ3 自回归策略表示能否发现标准去中心化策略无法捕捉的涌现协调行为？
• RQ4 哪些实际设计选择可提升基于策略梯度的MARL中的样本效率与性能？
• RQ5 在复杂环境中，智能体特定策略与自回归策略在学习多样化且高奖励策略方面如何比较？

主要发现

• 由于IGM原则的约束，值分解无法表示2×2异或博弈的收益结构，该博弈具有两个对称最优解。
• 在异或博弈中，采用个体策略的策略梯度方法可证明收敛至最优解，在多模态设置下优于基于值的方法。
• 自回归策略学习发现了复杂协调行为，如GRF中的“Tiki-Taka”传球与SMAC中的交替进攻策略，这些行为在独立策略中不存在。
• 在SMAC与GRF中，使用智能体特定策略相比标准PPO，显著提升了最终奖励与收敛速度，体现出实际优势。
• 自回归策略在协调性与智能体空间分布上表现更优，热力图对比显示其能形成更有效的团队策略。
• 尽管自回归策略更具表达能力且能发现涌现行为，但其收敛速度慢于个体策略，表明表达能力与样本效率之间存在权衡。