[论文解读] Revisiting the Gumbel-Softmax in MADDPG

Callum Rhys Tilbury, Filippos Christianos+1 more|arXiv (Cornell University)|Feb 23, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文用替代的离散梯度估计器取代了MADDPG中性能表现不佳的有偏Gumbel-Softmax（GS）梯度估计器，以改进多智能体强化学习在离散网格世界环境中的表现。Gapped Straight Through（GST）估计器显著优于原始GS，尽管计算成本增加了2.5倍，但其在返回值上最高提升了55%，且收敛速度更快。

ABSTRACT

MADDPG is an algorithm in multi-agent reinforcement learning (MARL) that extends the popular single-agent method, DDPG, to multi-agent scenarios. Importantly, DDPG is an algorithm designed for continuous action spaces, where the gradient of the state-action value function exists. For this algorithm to work in discrete action spaces, discrete gradient estimation must be performed. For MADDPG, the Gumbel-Softmax (GS) estimator is used -- a reparameterisation which relaxes a discrete distribution into a similar continuous one. This method, however, is statistically biased, and a recent MARL benchmarking paper suggests that this bias makes MADDPG perform poorly in grid-world situations, where the action space is discrete. Fortunately, many alternatives to the GS exist, boasting a wide range of properties. This paper explores several of these alternatives and integrates them into MADDPG for discrete grid-world scenarios. The corresponding impact on various performance metrics is then measured and analysed. It is found that one of the proposed estimators performs significantly better than the original GS in several tasks, achieving up to 55% higher returns, along with faster convergence.

研究动机与目标

• 探究在原始Gumbel-Softmax（GS）估计器表现不佳的离散网格世界环境中，使用替代的离散梯度估计器是否能够提升MADDPG的性能。
• 评估GS估计器中的统计偏差对MADDPG在多智能体设置下学习稳定性与最终性能的影响。
• 在MADDPG框架内比较多种梯度估计技术——从超参数调整到新型方法——的性能表现。
• 确定将GS估计器替换为低偏差替代方案是否能带来可测量的样本效率提升与回报最大化。
• 提供实证证据，支持Papoudakis等人（2021）提出的假设：GS偏差是MADDPG在离散动作空间任务中表现不佳的关键因素。

提出的方法

• 在MADDPG中集成四种离散梯度估计器：(1) 温度退火的GS，(2) 低温GS，(3) GRMC$K$（Paulus等人，2021），以及(4) Gapped Straight Through（GST）（Fan等人，2022）。
• 在MADDPG算法的策略梯度更新中应用这些估计器，以替代原始Gumbel-Softmax重参数化方法用于离散动作选择。
• 采用标准MADDPG架构，包含独立评论家与集中训练、去中心化执行（CTDE）机制，并通过梯度松弛方法适配离散动作。
• 使用Papoudakis等人（2021）基准中的九个网格世界任务，涵盖合作性与部分可观察性设置。
• 采用标准MARL指标：累计回报、训练收敛速度，以及梯度方差分析，用于比较不同估计器的性能。
• 对超参数（特别是温度调度）进行消融研究，以评估各估计器的敏感性与鲁棒性。

实验结果

研究问题

• RQ1 在离散网格世界环境中，将MADDPG中的Gumbel-Softmax估计器替换为其他离散梯度估计器，是否能带来性能提升？
• RQ2 Gapped Straight Through（GST）估计器在回报、收敛速度与梯度方差方面，相较于标准Gumbel-Softmax及其变体表现如何？
• RQ3 MADDPG在离散环境中性能下降的主要原因是否源于Gumbel-Softmax估计器的统计偏差？
• RQ4 对Gumbel-Softmax进行简单修改（如降低温度）是否能带来与更复杂估计器相当的性能提升？
• RQ5 在MADDPG中使用GST等高级估计器与原始GS相比，其计算成本与收益之间的权衡如何？

主要发现

• 在多个具有挑战性的网格世界任务中，Gapped Straight Through（GST）估计器的回报最高比原始Gumbel-Softmax高出55%。
• GST在多个任务中实现了更快的收敛速度，表明其相比基线GS估计器具有更高的样本效率。
• 在Gumbel-Softmax中降低松弛温度可提升性能，但效果不及GST。
• 在本设置中，TAGS中的温度退火方案表现不佳，表明其对超参数配置敏感。
• GRMC$K$估计器虽具潜力，但因计算开销过高而受限，尽管其偏差较低，实用性降低。
• 梯度方差分析显示，在某一任务中GST产生的梯度比GS更稳定，支持其更优的学习动态。