[论文解读] QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 77被引用 352

一句话总结

QMIX 引入了一种带有超网络的单调混合网络，将联合行动值分解为每个代理的值，使得可以集中训练、分散执行并便于求 argmax。它在星际争霸II微观管理任务中优于 IQL 和 VDN。

ABSTRACT

In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a network that estimates joint action-values as a complex non-linear combination of per-agent values that condition only on local observations. We structurally enforce that the joint-action value is monotonic in the per-agent values, which allows tractable maximisation of the joint action-value in off-policy learning, and guarantees consistency between the centralised and decentralised policies. We evaluate QMIX on a challenging set of StarCraft II micromanagement tasks, and show that QMIX significantly outperforms existing value-based multi-agent reinforcement learning methods.

研究动机与目标

• 在部分可观测性和分散执行下，激发协同策略的学习以提升合作多智能体系统的协作效果。
• 开发一种集中式训练方法，同时保持代理的分散行动选取。
• 在保持对分散策略的可求解最大化（argmax）的同时，提升表示能力，超过 VDN。
• 在训练阶段利用额外的状态信息以改进联合行动价值的估计。

提出的方法

• 用基于局部观测的代理网络表示每个代理的 Q 值 Q_a。
• 通过单调混合网络混合代理输出以产生 Q_tot，权重非负以确保单调性。
• 使用以全局状态 s 为条件的超网络生成混合网络的权重和偏置，实现状态条件下的非线性混合。
• 使用目标网络，针对 Q_tot 采用类似 DQN 的损失进行端到端训练，允许离策略更新。
• 保持 argmax 一致性：argmax_u Q_tot(τ, u) 等于每个代理的 argmax 向量，促进分散行动选择。
• 在星际争霸II微管理任务中利用集中训练、分散执行来评估性能。

实验结果

研究问题

• RQ1 是否存在一个单调且非线性的混合函数，能够表示更丰富的集中行动值函数，同时确保分散策略的一致性？
• RQ2 通过超网络以全局状态调制混合网络，是否比像 VDN 那样的线性分解带来更好表现？
• RQ3 QMIX 的表示能力和状态信息在异质多智能体环境中在多大程度上贡献于性能提升？
• RQ4 QMIX 在多智能体任务中是否保持离策略最大化搜索的可行性？

主要发现

• QMIX 在星际争霸II微管理任务上超过独立 Q 学习（IQL）和价值分解网络（VDN），在异质代理地图上有显著提升。
• QMIX 在测试地图中获得更高的最终性能和更快的学习速度，相比基线方法。
• 消融研究表明，中心状态信息和非线性混合都对性能有贡献，尤其在异质设置中。
• QMIX 的单调混合使执行阶段实现线性时间的每代理 argmax，同时表示的联合行动值比简单求和更丰富。
• 学习到的策略表现出协调战术（如通过定位来保护脆弱单位），与 VDN 和 IQL 行为不同。