[论文解读] Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning.

Ling Pan, Tabish Rashid+3 more|arXiv (Cornell University)|Mar 22, 2021

Reinforcement Learning in Robotics参考文献 33被引用 3

一句话总结

本文提出了一种名为正则化Softmax（SR）的新方法，通过结合值正则化与基于Softmax的动作值变换，减少多智能体Q-learning中的过估计问题。SR被应用于QMIX及其他MARL算法，在合作环境（包括具有挑战性的StarCraft II微操控制任务）中均实现了学习稳定性和性能的持续提升。

ABSTRACT

Overestimation in $Q$-learning is an important problem that has been extensively studied in single-agent reinforcement learning, but has received comparatively little attention in the multi-agent setting. In this work, we empirically demonstrate that QMIX, a popular $Q$-learning algorithm for cooperative multi-agent reinforcement learning (MARL), suffers from a particularly severe overestimation problem which is not mitigated by existing approaches. We rectify this by designing a novel regularization-based update scheme that penalizes large joint action-values deviating from a baseline and demonstrate its effectiveness in stabilizing learning. We additionally propose to employ a softmax operator, which we efficiently approximate in the multi-agent setting, to further reduce the potential overestimation bias. We demonstrate that our Softmax with Regularization (SR) method, when applied to QMIX, accomplishes its goal of avoiding severe overestimation and significantly improves performance in a variety of cooperative multi-agent tasks. To demonstrate the versatility of our method, we apply it to other $Q$-learning based MARL algorithms and achieve similar performance gains. Finally, we show that our method provides a consistent performance improvement on a set of challenging StarCraft II micromanagement tasks.

研究动机与目标

• 解决QMIX这一领先的多智能体强化学习算法中严重的过估计问题，该问题尚未被现有技术缓解。
• 设计一种基于正则化的更新机制，通过惩罚与基线偏离较大的联合动作值来稳定学习过程。
• 引入Softmax算子，以进一步降低多智能体设置下的过估计偏差。
• 在多种合作MARL环境中验证所提方法的有效性与通用性。
• 在具有挑战性的StarCraft II微操控制任务中实现一致的性能提升。

提出的方法

• 提出一种正则化方案，通过惩罚联合动作值与学习到的基线之间的偏离，减少QMIX中的过估计问题。
• 引入基于Softmax的动作值变换，以抑制过大的值估计，提升估计精度。
• 设计一种适用于多智能体场景的Softmax算子高效近似方法，以保持计算可行性。
• 将正则化与Softmax组件整合进QMIX训练流程，形成正则化Softmax（SR）方法。
• 将SR应用于QMIX以外的基于Q-learning的MARL算法，以评估其泛化能力。
• 使用基线值函数引导正则化过程，确保训练过程中值估计的稳定性。

实验结果

研究问题

• RQ1 QMIX在合作多智能体环境中在多大程度上存在过估计问题？
• RQ2 基于正则化的更新机制是否能有效减少多智能体Q-learning中的过估计？
• RQ3 在MARL中引入Softmax算子是否能进一步缓解过估计偏差？
• RQ4 所提出的正则化Softmax方法在多样化合作MARL任务中如何提升学习稳定性和性能？
• RQ5 SR能否推广至其他基于Q-learning的MARL算法，并实现一致的性能增益？

主要发现

• QMIX在合作多智能体任务中表现出特别严重的过估计问题，且现有方法无法解决该问题。
• 所提出的正则化Softmax（SR）方法能有效减少过估计，并稳定QMIX的训练过程。
• SR在多种合作多智能体环境中均带来显著的性能提升。
• 该方法具有良好的泛化能力，应用于其他基于Q-learning的MARL算法时，也能实现相似的性能增益。
• SR在具有挑战性的StarCraft II微操控制任务中实现了持续且可量化的性能改进，证明了其鲁棒性与可扩展性。