[论文解读] QR-MIX: Distributional Value Function Factorisation for Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Seth Austin Harding+3 more|arXiv (Cornell University)|Sep 9, 2020

Reinforcement Learning in Robotics参考文献 30被引用 7

一句话总结

QR-MIX 通过将 QMIX 与隐式分位数网络（IQN）结合的分位数回归，提出了一种合作多智能体强化学习的分布值函数因子化方法，将联合状态-动作值建模为分布以更好地捕捉回报的随机性。它引入了一种灵活的损失函数以放松单调性约束，提升了鲁棒性，并在 StarCraft 多智能体挑战（SMAC）环境中实现了最先进性能。

ABSTRACT

In Cooperative Multi-Agent Reinforcement Learning (MARL) and under the setting of Centralized Training with Decentralized Execution (CTDE), agents observe and interact with their environment locally and independently. With local observation and random sampling, the randomness in rewards and observations leads to randomness in long-term returns. Existing methods such as Value Decomposition Network (VDN) and QMIX estimate the value of long-term returns as a scalar that does not contain the information of randomness. Our proposed model QR-MIX introduces quantile regression, modeling joint state-action values as a distribution, combining QMIX with Implicit Quantile Network (IQN). However, the monotonicity in QMIX limits the expression of joint state-action value distribution and may lead to incorrect estimation results in non-monotonic cases. Therefore, we proposed a flexible loss function to approximate the monotonicity found in QMIX. Our model is not only more tolerant of the randomness of returns, but also more tolerant of the randomness of monotonic constraints. The experimental results demonstrate that QR-MIX outperforms the previous state-of-the-art method QMIX in the StarCraft Multi-Agent Challenge (SMAC) environment.

研究动机与目标

• 为解决合作 MARL 中标量值估计的局限性，该局限性无法捕捉由于局部观测和随机环境导致的长期回报随机性。
• 通过将联合状态-动作值建模为分布而非单一标量，改进值函数表示，增强对回报可变性的鲁棒性。
• 放松 QMIX 中严格的单调性约束，该约束在非单调环境中可能导致错误的值估计。
• 开发一种灵活的损失函数，以近似单调性，同时允许值分布估计具有更高的表达能力。
• 在 StarCraft 多智能体挑战（SMAC）基准上实现优于 QMIX 的性能。

提出的方法

• QR-MIX 将分位数回归与 QMIX 结合，将联合状态-动作值表示为分位数上的分布，而非单一标量估计。
• 采用隐式分位数网络（IQN）来参数化分布值函数，实现对值分布的随机近似。
• 提出一种新颖的灵活损失函数，以近似 QMIX 的单调性属性，从而在非单调场景中实现更富表达力和准确的值估计。
• 该方法保持了集中训练、分散执行（CTDE）范式，在训练期间实现高效的联合值分解，同时在推理时保持独立执行。
• 分布表示使模型能够更好地捕捉由于环境随机性和局部观测导致的回报不确定性与可变性。

实验结果

研究问题

• RQ1 将联合状态-动作值建模为分布是否能提升在回报具有随机性条件下的合作多智能体强化学习性能？
• RQ2 放松 QMIX 中的单调性约束如何影响值估计准确性和学习稳定性？
• RQ3 所提出的灵活损失函数在多大程度上增强了对 MARL 中非单调值函数的鲁棒性？
• RQ4 将分位数回归与 QMIX 集成是否能提升复杂多智能体环境中的样本效率和最终性能？
• RQ5 在 StarCraft 多智能体挑战（SMAC）中，QR-MIX 与 QMIX 相比在性能和鲁棒性方面表现如何？

主要发现

• QR-MIX 在 StarCraft 多智能体挑战（SMAC）环境中优于先前的最先进方法 QMIX。
• 通过分位数回归实现的分布表示相比标量值估计，能更好地处理回报随机性。
• 灵活的损失函数通过放松严格单调性，提升了估计准确性，尤其在非单调值函数场景中表现更优。
• 由于采用了分布值函数，QR-MIX 对环境随机性和局部观测可变性表现出更强的鲁棒性。
• 该方法保持了 CTDE 框架，实现了有效的集中式训练，同时在推理时支持分散式执行。