[论文解读] Rethinking the Implementation Tricks and Monotonicity Constraint in Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Siyang Jiang+3 more|arXiv (Cornell University)|Feb 6, 2021

Reinforcement Learning in Robotics参考文献 39被引用 35

一句话总结

本文分析了代码级优化和单调性约束如何影响基于 QMIX 的合作型 MARL，结果表明优化可以主导结果，且在纯合作任务中单调性可提高样本效率。

ABSTRACT

Many complex multi-agent systems such as robot swarms control and autonomous vehicle coordination can be modeled as Multi-Agent Reinforcement Learning (MARL) tasks. QMIX, a widely popular MARL algorithm, has been used as a baseline for the benchmark environments, e.g., Starcraft Multi-Agent Challenge (SMAC), Difficulty-Enhanced Predator-Prey (DEPP). Recent variants of QMIX target relaxing the monotonicity constraint of QMIX, allowing for performance improvement in SMAC. In this paper, we investigate the code-level optimizations of these variants and the monotonicity constraint. (1) We find that such improvements of the variants are significantly affected by various code-level optimizations. (2) The experiment results show that QMIX with normalized optimizations outperforms other works in SMAC; (3) beyond the common wisdom from these works, the monotonicity constraint can improve sample efficiency in SMAC and DEPP. We also discuss why monotonicity constraints work well in purely cooperative tasks with a theoretical analysis. We open-source the code at \url{https://github.com/hijkzzz/pymarl2}.

研究动机与目标

• 评估实现技巧如何影响合作型 MARL 基准中的 QMIX 及其变体。
• 在标准化优化时评估单调性约束是否有损害或提升性能。
• 提供关于在纯合作环境中单调性约束何时有益的理论讨论。
• 开源再现代码并提供在 MARL 领域公平基准测试的指南。

提出的方法

• 在 QMIX 变体中调查代码级优化并通过标准化技巧将其统一。
• 对优化器选择（Adam 与 RMSProp）及其在并行采样下的影响进行消融研究。
• 在 SMAC 与 DEPP 上评估重放缓冲区大小、 rollout 过程数量、隐藏网络规模和探索策略对性能的影响。
• 提出 RIIT，一种使用单调混合网络作为 critic 的基于策略的端到端 actor-critic 以研究单调性约束。
• 将实验扩展到 VMIX 以评估单调性对 value 网络的影响。
• 给出理论定义和命题，将单调性与任务结构（纯合作 vs 半合作/竞争）联系起来。

实验结果

研究问题

• RQ1 代码级优化是否能解释 QMIX 及其变体在 SMAC/DEPP 上的大部分性能提升？
• RQ2 在优化标准化后，单调性约束是削弱还是提升学习效率？
• RQ3 在纯合作任务中，能否证明单调性约束对样本效率有利？
• RQ4 在 RIIT/VMIX 之类的设置中，放宽单调性约束在非纯合作情境下何时有帮助？

主要发现

• 经过标准化的代码级优化使 QMIX 在 SMAC 上超越多个变体，前提是在一致的超参数搜索 regime 下进行。
• 与 RMSProp 相比，使用并行训练的 Adam 优化器显著提升了 QMIX 的性能。
• Q(lambda) 取小 lambda 时可加速 QMIX，但取大值可能使训练不稳定；建议使用较小的 lambda 值。
• 在具有快速样本周转的多智能体设置中，较小的重放缓冲区能够稳定 QMIX 学习。
• 增大隐藏网络规模（特别是 RNN 宽度）在困难的 SMAC 场景中带来显著性能提升。
• 在政策驱动的 RIIT 和 VMIX 分析中，单调性约束可以提高样本效率；然而在技巧标准化的情况下，QMIX 通常优于其放宽版本。
• 作者提出纯合作任务结构支持单调混合网络，并就何时单调性有利提供理论理由。