[论文解读] QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics被引用 475

一句话总结

QMIX 通过一个集中、单调的混合网络来训练分散策略，该网络将各代理的 Q 值组合为一个可处理、全局一致的联合 Q 值，从而在多智能体强化学习中实现更好的协同。

ABSTRACT

In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a network that estimates joint action-values as a complex non-linear combination of per-agent values that condition only on local observations. We structurally enforce that the joint-action value is monotonic in the per-agent values, which allows tractable maximisation of the joint action-value in off-policy learning, and guarantees consistency between the centralised and decentralised policies. We evaluate QMIX on a challenging set of StarCraft II micromanagement tasks, and show that QMIX significantly outperforms existing value-based multi-agent reinforcement learning methods.

研究动机与目标

• 激发如何在超越像 VDN 这样的加性分解的前提下改进集中训练与去中心化执行。
• 提出一个混合网络，强制每个代理的 Q 值与联合 Q 值之间的单调关系。
• 证明单调性可保证集中策略与去中心化策略之间对 argmax 决策的一致性。
• 在训练过程中通过超网络利用状态信息来塑造混合网络。
• 在星际争霸 II 微操作任务上对 QMIX 进行经验评估，并与 IQL 和 VDN 进行比较。

提出的方法

• 用一个以局部观测和上一个动作作为输入的智能体网络来表示每个智能体的价值函数 Q_a。
• 通过一个单调混合网络对智能体输出进行混合，其权重由状态条件的超网络（hypernetworks）生成，以产生 Q_tot。
• 强制混合网络权重非负性，以确保 Q_tot 与每个 Q_a 之间的偏序单调性。
• 端到端训练，通过对 Q_tot 使用带目标网络的 DQN 风格损失进行最小化，允许对联合动作进行离策略最大化操作。
• 通过超网络使状态 s 能影响 Q_tot，同时保持混合函数在代理 Q 值上的单调性。
• 实现对联合动作的可处理最大化，其复杂性与代理数量成线性关系。

实验结果

研究问题

• RQ1 集中式、非线性地混合每个代理的 Q 值是否能够产生更丰富且仍然可处理的联合行动价值函数？
• RQ2 是否强制 Q_tot 与单个 Q_a 之间的单调性能够在去中心化 argmax 决策与中心化最大化之间保证一致性？
• RQ3 通过超网络引入的中心状态信息如何影响学习与性能？
• RQ4 在复杂多智能体任务中，QMIX 相对于独立 Q 学习和 VDN 的优势程度如何？
• RQ5 QMIX 在同质和异质代理集合中的表示能力如何？

主要发现

• QMIX 在星际争霸 II 微操作任务上优于 IQL 和 VDN，尤其是在具有异质代理类型时。
• 单调混合使联合动作价值最大化可处理，并实现去中心化策略提取。
• 状态条件超网络通过在训练期间使混合网络能够适应全局信息来提升性能。
• 消融结果表明非线性混合和中心状态信息都对性能有贡献，尤其在异质设定中。
• 学习到的策略表现出协同行为，如定位和集中火力，与 VDN 和 IQL 不同。