[论文解读] Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot

Joel Z. Leibo, Edgar A. Duéñez‐Guzmán+8 more|arXiv (Cornell University)|Jul 14, 2021

Reinforcement Learning in Robotics被引用 23

一句话总结

Melting Pot 是一个可扩展的多智能体强化学习（MARL）评估套件，通过使用预训练的‘背景群体’智能体来创建多样化、零样本的测试场景，从而实现对泛化能力的稳健评估。结果表明，在新颖的社会情境中，最大化个体奖励通常比最大化集体奖励能产生更鲁棒的策略。

ABSTRACT

Existing evaluation suites for multi-agent reinforcement learning (MARL) do not assess generalization to novel situations as their primary objective (unlike supervised-learning benchmarks). Our contribution, Melting Pot, is a MARL evaluation suite that fills this gap, and uses reinforcement learning to reduce the human labor required to create novel test scenarios. This works because one agent's behavior constitutes (part of) another agent's environment. To demonstrate scalability, we have created over 80 unique test scenarios covering a broad range of research topics such as social dilemmas, reciprocity, resource sharing, and task partitioning. We apply these test scenarios to standard MARL training algorithms, and demonstrate how Melting Pot reveals weaknesses not apparent from training performance alone.

研究动机与目标

• 为解决多智能体强化学习（MARL）中缺乏标准化、聚焦泛化能力的基准问题，从而阻碍算法之间的可比性评估。
• 通过利用多智能体交互，使一个智能体的行为塑造另一个智能体的环境，从而减少创建测试环境的人工劳动。
• 建立一个基准，其中测试场景通过‘基底 + 背景群体’的公式构建，确保对训练后智能体的零样本评估。
• 覆盖广泛的 MARL 研究主题，包括社会困境、互惠行为、资源共享和任务分解。
• 证明通过未见社会动态衡量的泛化性能，能够暴露标准训练性能中无法察觉的弱点。

提出的方法

• 核心方法使用‘基底’（固定环境布局和规则）与‘背景群体’（具有固定策略的预训练智能体）结合，构成测试场景。
• 背景群体独立训练，且在评估过程中从不微调，确保对新型社会互动的零样本泛化。
• 每个场景通过替换为新的、不熟悉的背景群体，同时保持基底不变，以测试泛化能力。
• 评估严格限定在测试阶段；训练方法与之无关，允许任何 MARL 算法在相同协议下进行评估。
• 通过在不同基底上复用背景群体，该框架能够可扩展地生成多样化测试场景。
• 该方法受 ImageNet 等监督学习基准的启发，但通过将智能体用作动态测试环境，适配于 MARL。

实验结果

研究问题

• RQ1 能否为多智能体强化学习构建一个可扩展、聚焦泛化能力的基准，以减少人工创建环境的工作量？
• RQ2 MARL 算法在面对未见的背景群体时，其在新型社会互动中的零样本泛化性能如何？
• RQ3 与最大化个体奖励相比，最大化集体奖励是否能在新型社会场景中产生更鲁棒的策略？
• RQ4 标准 MARL 训练目标在多大程度上未能捕捉对社会动态变化的鲁棒性？
• RQ5 多智能体系统是否能通过相互依赖自然生成多样化测试环境，从而减少对人工环境工程的依赖？

主要发现

• 最大化个体奖励通常能产生比最大化集体奖励更优的泛化策略，适用于新颖的社会情境。
• 在 Commons Harvest 场景中，个体奖励最大化的策略在 SC5 测试中达到 71.6% 的成功率，而集体奖励策略仅达到 38.7%。
• 在 King of the Hill 场景中，个体奖励训练的策略表现出更高的鲁棒性，SC1 中获得 627.8% 的奖励，而集体奖励策略仅为 -3.2%。
• 在 Stag Hunt 和 Prisoner's Dilemma 场景中，个体奖励策略对背叛行为和协作失败更具韧性。
• 在 Territory 场景中，个体奖励策略在 SC1 中获得 273.4% 的奖励，显著优于集体奖励策略。
• 结果表明，仅靠集体奖励最大化并不能保证对新型社会动态的泛化，甚至可能因此受损。