[论文解读] Weighted QMIX: Expanding Monotonic Value Function Factorisation.

Tabish Rashid, Gregory Farquhar+2 more|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 12被引用 22

一句话总结

本文提出Weighted QMIX，作为QMIX的新型扩展，通过在价值函数分解过程中引入加权投影，提升了模型的表征能力。通过采用自适应加权方案——中心化加权（CW）和乐观加权（OW）QMIX，优先考虑高质量联合动作，即使在标准QMIX的无权重投影失败时，也能精确恢复最优策略，在猎物-捕食者和StarCraft基准测试中表现出更优性能。

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

研究动机与目标

• 识别并解决QMIX的表征局限性，该局限性源于其无权重投影机制，即使在可访问Q*的情况下也无法恢复最优策略。
• 将QMIX的优化目标形式化为投影算子，通过最小化所有联合动作的无权重平方误差来实现。
• 通过在投影步骤中引入优先考虑更优联合动作的权重，改进投影过程，从而提升策略恢复能力。
• 开发可扩展、高效的变体——CW QMIX和OW QMIX，在保持集中训练、去中心化执行范式的同时提升性能。

提出的方法

• 本文将QMIX形式化为一种算子，通过无权重最小二乘法最小化，计算Q-learning目标并将其投影到QMIX可表示的空间中。
• 指出在投影过程中对所有联合动作采用相等权重，即使在已知Q*的情况下，也会导致策略恢复次优。
• 提出一种加权投影机制，在投影步骤中为表现更优的联合动作分配更高重要性。
• 提出两种加权方案：中心化加权QMIX（CW QMIX），利用对联合动作质量的集中知识；乐观加权QMIX（OW QMIX），使用乐观估计来优先考虑高回报动作。
• 理论分析证明，两种加权方案均能对任意联合动作Q值（包括Q*）正确恢复最大动作。
• 将方法扩展至可扩展的深度强化学习设置，并在表格型和深度MARL基准上进行评估。

实验结果

研究问题

• RQ1 即使在可访问Q*的情况下，QMIX中的无权重投影是否仍会导致次优策略恢复？
• RQ2 QMIX投影中对所有联合动作采用相等权重，如何影响其对最优策略的表示能力？
• RQ3 在投影步骤中引入自适应加权，是否能提升合作式MARL中的策略恢复能力和性能？
• RQ4 所提出的加权方案——CW QMIX和OW QMIX，是否能在任意Q值函数下实现最优策略的精确恢复？
• RQ5 增强的表征能力是否转化为在StarCraft和猎物-捕食者等复杂多智能体环境中的更好性能？

主要发现

• 即使在可访问Q*的情况下，标准QMIX的投影仍因所有联合动作在无权重最小二乘投影中权重相等，而无法恢复最优策略。
• 通过自适应加权机制，Weighted QMIX能成功恢复任意联合动作Q值（包括Q*）下的正确最大动作。
• 在理论分析条件下，CW QMIX和OW QMIX均能实现精确策略恢复。
• 在表格型环境中，所提方法在QMIX失败的位置能正确识别最优动作，表现优于标准QMIX。
• 在深度MARL基准（包括猎物-捕食者和StarCraft II）上，Weighted QMIX相比标准QMIX展现出更高的样本效率和最终性能。
• 性能提升归因于在价值函数投影过程中优先考虑高质量联合动作所带来的增强表征能力。