[论文解读] The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games

Chao Yu, Akash Velu+4 more|arXiv (Cornell University)|Mar 2, 2021

Reinforcement Learning in Robotics参考文献 32被引用 109

一句话总结

本文展示了多智能体近端策略优化（MAPPO）——一种在线策略强化学习算法——在合作式多智能体环境中的强大性能表现，其样本效率和最终性能与离线策略基线相当或更优，尽管人们普遍认为在线策略方法在多智能体设置中样本效率较低。该成果仅通过极少的超参数调优，并在单张GPU上实现，无需领域特定的修改。

ABSTRACT

Proximal Policy Optimization (PPO) is a popular on-policy reinforcement learning algorithm but is significantly less utilized than off-policy learning algorithms in multi-agent settings. This is often due the belief that on-policy methods are significantly less sample efficient than their off-policy counterparts in multi-agent problems. In this work, we investigate Multi-Agent PPO (MAPPO), a variant of PPO which is specialized for multi-agent settings. Using a 1-GPU desktop, we show that MAPPO achieves surprisingly strong performance in three popular multi-agent testbeds: the particle-world environments, the Starcraft multi-agent challenge, and the Hanabi challenge, with minimal hyperparameter tuning and without any domain-specific algorithmic modifications or architectures. In the majority of environments, we find that compared to off-policy baselines, MAPPO achieves strong results while exhibiting comparable sample efficiency. Finally, through ablation studies, we present the implementation and algorithmic factors which are most influential to MAPPO's practical performance.

研究动机与目标

• 挑战当前普遍认为在线策略方法（如PPO）在多智能体强化学习中样本效率低于离线策略方法的观点。
• 评估多智能体PPO（MAPPO）在多样化合作式多智能体环境中的实际有效性。
• 识别促成MAPPO在多智能体设置中表现优异的关键实现与算法因素。
• 评估MAPPO是否能在无需针对特定环境进行架构或算法修改的情况下取得具有竞争力的结果。

提出的方法

• MAPPO通过独立使用各智能体自身的经验更新其策略，同时保持在线策略学习约束，将近端策略优化（PPO）算法应用于多智能体环境。
• 该方法采用裁剪概率比目标以稳定训练，确保策略更新保持在信任区域内，防止性能崩溃。
• 每个智能体的策略通过一个集中式评论者进行优化，该评论者可观察所有智能体的观测与动作，从而在合作设置中实现信用分配。
• 该算法在单张GPU上训练，依赖标准神经网络架构，无需任务特定修改。
• 超参数保持最小化且在各环境中保持一致，未进行环境特定调优。
• 通过消融研究隔离关键组件（如价值函数归一化、奖励塑造和策略更新频率）的影响。

实验结果

研究问题

• RQ1 在合作式多智能体环境中，与离线策略基线相比，MAPPO的在线策略学习是否实现了具有竞争力的样本效率？
• RQ2 哪些关键实现因素促成了MAPPO在多智能体设置中的优异实证性能？
• RQ3 MAPPO是否能在无需针对特定环境进行架构或算法修改的情况下取得优异结果？
• RQ4 MAPPO在诸如粒子世界、星际争霸和汉比等多样化多智能体基准测试中表现如何？

主要发现

• MAPPO在大多数测试环境中（包括粒子世界、星际争霸II和汉比）的性能与或优于离线策略基线。
• 该算法展现出与离线策略方法相当的样本效率，挑战了在线策略方法在多智能体设置中固有样本效率较低的假设。
• 价值函数归一化和适当的奖励缩放被识别为显著提升训练稳定性和最终性能的关键实现因素。
• 极少的超参数调优即可在多样化环境中实现优异性能，表明该方法具有鲁棒性和泛化能力。
• 消融研究显示，策略更新频率和训练稳定性强烈依赖于归一化与裁剪机制的选择。
• MAPPO无需任何领域特定的架构修改或算法调整即可取得优异结果，凸显其简洁性与实用性。