[论文解读] Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Gregory Farquhar+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用 114

一句话总结

加权 QMIX 在 QMIX 的值分解中引入加权投影，以更好地恢复最优联合行动、提升协调任务的性能并对探索具有鲁棒性。它还提出了两种实用的深度 RL 实现 CW-QMIX 和 OW-QMIX，配备不受限制的 "+hat{Q}^{*}+" 预测器。

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting, we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

研究动机与目标

• 评估 QMIX 因单调值函数混合导致的表示能力局限性。
• 将 QMIX 形式化为将 Q-learning 目标投影到受限函数空间的投影。
• 在投影中引入加权以突出更好的联合行动并恢复最优策略。
• 开发可扩展的深度 RL 变体（CW-QMIX 和 OW-QMIX）并在 MARL 基准测试上进行评估。
• 在 Predator Prey 与 SMAC 任务中展示更好的性能和对探索的鲁棒性提升。

提出的方法

• 将 QMIX 表述为投影算子，投影到单调函数空间 Q^{mix}。
• 证明均匀加权可能无法恢复最优联合行动，并引入加权投影 Pi_w。
• 提出两种加权：Idealised Central Weighting 与 Optimistic Weighting，并给出正式保证以恢复正确的 argmax。
• 定义 Weighted QMIX (WQMIX)，使用学习得到的不受限制的 Q^{*} 与加权投影来获得 Q_tot。
• 描述深度 RL 实现：通过混合网络得到的 Q_tot，配合不受限制的 hat{Q}^{*}，以及损失中的加权 w；目标 y_i 使用 Q_tot 的 argmax。
• 提供两种可扩展的深度 RL 变体：Centrally-Weighted QMIX (CW-QMIX) 和 Optimistically-Weighted QMIX (OW-QMIX)。

实验结果

研究问题

• RQ1 当 QMIX 的无加权投影失败时，加权投影进入 QMIX 的表示空间是否能够恢复最优联合行动？
• RQ2 加权方案（Idealised Central 与 Optimistic）是否对任意 Q 都能保证恢复最大联合行动？
• RQ3 引入不受限制的 hat{Q}^{*} 和加权投影是否在实际中促成收敛到 Q^{*} 和最优策略？
• RQ4 CW-QMIX 与 OW-QMIX 是否在 MARL 基准测试中提升协调性和对探索的鲁棒性？
• RQ5 将 Weighted QMIX 扩展到深度 RL 任务时的局限性与实际考虑因素是什么？

主要发现

• 在特定加权下，加权投影到 Q^{mix} 能恢复正确的最大联合行动，解决了 QMIX 的失效模式。
• 提出两种加权方案，并在理论上证明它们能够对任意 Q（包括 Q^{*}）恢复正确的 argmax。
• 引入不受限制的 hat{Q}^{*} 允许学习对 Q^{*} 的更丰富近似，同时使用 Q_tot 进行引导，使收敛到最优策略成为可能。
• CW-QMIX 与 OW-QMIX 在 predator-prey 任务及 SMAC 基准上相较于 QMIX 展现了更好的性能，尤其在探索程度较高时。
• Weighted QMIX 提高了对探索与协调的鲁棒性，尽管 hat{Q}^{*} 的架构选择可能影响结果。
• 该方法揭示了均匀加权的局限性，并展示了在策略恢复中加权的实际益处。