[论文解读] QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning

Kyunghwan Son, Sungsoo Ahn+3 more|arXiv (Cornell University)|Jun 22, 2020

Reinforcement Learning in Robotics参考文献 27被引用 17

一句话总结

本文提出 QTRAN++，一种改进的基于值函数的多智能体强化学习算法，通过稳定训练、消除价值估计器之间严格的角色分工，并引入多头混合网络，对 QTRAN 进行了优化。该方法在 StarCraft 多智能体挑战（SMAC）环境中实现了最先进性能，尤其在复杂和负奖励场景下优于先前方法，包括 QMIX。

ABSTRACT

QTRAN is a multi-agent reinforcement learning (MARL) algorithm capable of learning the largest class of joint-action value functions up to date. However, despite its strong theoretical guarantee, it has shown poor empirical performance in complex environments, such as Starcraft Multi-Agent Challenge (SMAC). In this paper, we identify the performance bottleneck of QTRAN and propose a substantially improved version, coined QTRAN++. Our gains come from (i) stabilizing the training objective of QTRAN, (ii) removing the strict role separation between the action-value estimators of QTRAN, and (iii) introducing a multi-head mixing network for value transformation. Through extensive evaluation, we confirm that our diagnosis is correct, and QTRAN++ successfully bridges the gap between empirical performance and theoretical guarantee. In particular, QTRAN++ newly achieves state-of-the-art performance in the SMAC environment. The code will be released.

研究动机与目标

• 为弥合 QTRAN 在 SMAC 等复杂环境中理论保证强但实际表现弱之间的差距。
• 通过修改损失函数和动态真实价值估计，稳定 QTRAN 的训练目标。
• 消除真实值与变换动作价值估计器之间严格的分工，以提升表达能力与训练稳定性。
• 通过多头混合网络实现在不可去中心化任务中的无偏信用分配。
• 在涵盖负奖励机制的多样化场景下，于 SMAC 环境中实现最先进性能。

提出的方法

• 通过引入额外不等式约束，并在优化过程中使用非固定的真实动作价值估计器，实现训练稳定。
• 通过允许真实与变换动作价值估计器之间的共享表征学习，取代 QTRAN 中严格的分工机制。
• 引入多头混合网络，实现更灵活且更具表现力的联合动作价值估计。
• 修改损失函数以提升优化稳定性与收敛性，区别于 QTRAN 的原始公式。
• 采用半单调混合网络结构，在保持理论去中心化特性的同时增强表征能力。
• 应用一种新型负奖励机制，以增强奖励信号密度，并在具有挑战性的场景中促进合作行为。

实验结果

研究问题

• RQ1 为何 QTRAN 尽管在价值分解方面具有强大的理论基础，但在实际复杂环境中表现不佳？
• RQ2 通过损失函数修改与动态价值估计，能否缓解 QTRAN 中的训练不稳定性与泛化能力差的问题？
• RQ3 若取消真实值与变换值估计器之间的严格角色分工，是否能提升性能与稳定性？
• RQ4 多头混合网络是否能在不可去中心化的合作任务中实现更优的信用分配与性能表现？
• RQ5 在复杂 SMAC 环境中，QTRAN++ 是否优于现有最先进方法（如 QMIX），特别是在负奖励设置下？

主要发现

• QTRAN++ 在 SMAC 的全部 10 个场景中均达到最先进性能，持续优于所有基线方法，包括 QMIX 与 QTRAN。
• 在负奖励场景中，QTRAN++ 使智能体成功训练为与敌人作战而非逃跑，避免了 QMIX 所受困的局部最优问题。
• 消融实验表明，多头混合、修改后的损失函数、非固定真实估计器以及共享角色等各组件均对性能提升有显著贡献。
• QTRAN++ 弥合了理论表达能力与实际性能之间的差距，证明 QTRAN 的理论优势可被实际实现。
• 经修改的环境引入负奖励后，奖励信号更密集，加速了学习过程并提升了最终胜率。
• 在 3s_vs_5z 与 5m_vs_6m 等具有挑战性的场景中，QTRAN++ 的中位胜率显著高于第二好的基线方法，性能差距明显。