[论文解读] Value-Decomposition Multi-Agent Actor-Critics

Jianyu Su, Stephen Adams+1 more|arXiv (Cornell University)|Jul 24, 2020

Reinforcement Learning in Robotics参考文献 35被引用 5

一句话总结

本文提出了一种新型多智能体强化学习框架——价值分解演员-评论家（VDAC），该框架结合了A2C的训练效率与QMIX风格的价值分解，以提升性能。VDAC使用局部评论家估计个体状态价值，使用中心化评论家建模全局状态价值，并在两者之间施加单调性约束，其在StarCraft II微操作任务上的中位性能优于其他演员-评论家方法，且与QMIX性能相当。

ABSTRACT

The exploitation of extra state information has been an active research area in multi-agent reinforcement learning (MARL). QMIX represents the joint action-value using a non-negative function approximator and achieves the best performance, by far, on multi-agent benchmarks, StarCraft II micromanagement tasks. However, our experiments show that, in some cases, QMIX is incompatible with A2C, a training paradigm that promotes algorithm training efficiency. To obtain a reasonable trade-off between training efficiency and algorithm performance, we extend value-decomposition to actor-critics that are compatible with A2C and propose a novel actor-critic framework, value-decomposition actor-critics (VDACs). We evaluate VDACs on the testbed of StarCraft II micromanagement tasks and demonstrate that the proposed framework improves median performance over other actor-critic methods. Furthermore, we use a set of ablation experiments to identify the key factors that contribute to the performance of VDACs.

研究动机与目标

• 解决合作式多智能体MARL中多智能体Q学习（如QMIX）与演员-评论家方法（如COMA）之间的性能差距。
• 通过使方法与A2C框架兼容，提升价值分解方法的训练效率。
• 设计一种稳定且可扩展的演员-评论家架构，利用集中训练与去中心化执行（CTDE）机制，并实现全局状态价值的因子分解。
• 识别在多智能体信用分配中提升性能的关键架构与训练组件。

提出的方法

• VDAC使用一个中心化评论家来估计全局状态价值 $V_{tot}$，并使用局部评论家来估计各智能体的状态价值 $V^a$，所有网络均与演员共享同一架构。
• 其施加单调性约束：对所有智能体 $a$，有 $\frac{\partial V_{tot}}{\partial V^a} \geq 0$，确保局部价值的提升能带来全局价值的提升。
• 策略通过时序差分（TD）优势策略梯度进行训练，理论上可收敛至局部最优解。
• 提出两种变体：VDAC-sum（局部价值的线性混合）与VDAC-mix（通过混合网络实现非线性混合），二者均与A2C兼容。
• 该框架采用集中训练与去中心化执行（CTDE）范式，使训练期间可访问完整状态信息。
• 该方法被设计为与A2C兼容，从而实现高效的体验回放，并在训练效率上优于COMA等在线方法。

实验结果

研究问题

• RQ1 与COMA梯度相比，TD优势梯度是否足以优化多智能体演员-评论家？
• RQ2 应用状态价值因子分解是否能提升演员-评论家的性能？
• RQ3 与QMIX相比，VDAC在训练效率与算法性能之间是否提供了合理的权衡？
• RQ4 哪些因素促成了所提出VDAC的性能表现？

主要发现

• VDAC-mix在所有StarCraft II微操作地图上均实现了最佳中位性能，优于其他演员-评论家方法。
• 在3s5z地图上，VDAC-mix在200万训练步时的中位胜率比QMIX高出71%。
• VDAC-sum（无法访问额外状态信息）的表现与朴素评论家相当，且训练稳定性优于COMA。
• 在2s_vs_1sc地图上，VDAC-mix在A2C框架下优于QMIX，训练更稳定，最终性能更高。
• 消融实验表明，单调性约束与访问额外状态信息对高性能表现至关重要。
• 实证评估表明，TD优势策略梯度优于COMA的梯度，说明其在多智能体演员-评论家训练中更具有效性。