[论文解读] ReMIX: Regret Minimization for Monotonic Value Function Factorization in Multiagent Reinforcement Learning

Yongsheng Mei, Hanhan Zhou+1 more|arXiv (Cornell University)|Feb 11, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出 ReMIX，一种用于合作多智能体强化学习中单调价值函数分解的新型后悔最小化框架。通过将联合价值函数到单调混合函数的最优投影问题形式化为策略后悔最小化问题，ReMIX 利用拉格朗日松弛和 KKT 条件推导出闭式最优投影权重，显著优于先前方法（如 WQMIX）在非单调价值函数环境中的表现。

ABSTRACT

Value function factorization methods have become a dominant approach for cooperative multiagent reinforcement learning under a centralized training and decentralized execution paradigm. By factorizing the optimal joint action-value function using a monotonic mixing function of agents' utilities, these algorithms ensure the consistency between joint and local action selections for decentralized decision-making. Nevertheless, the use of monotonic mixing functions also induces representational limitations. Finding the optimal projection of an unrestricted mixing function onto monotonic function classes is still an open problem. To this end, we propose ReMIX, formulating this optimal projection problem for value function factorization as a regret minimization over the projection weights of different state-action values. Such an optimization problem can be relaxed and solved using the Lagrangian multiplier method to obtain the close-form optimal projection weights. By minimizing the resulting policy regret, we can narrow the gap between the optimal and the restricted monotonic mixing functions, thus obtaining an improved monotonic value function factorization. Our experimental results on Predator-Prey and StarCraft Multiagent Challenge environments demonstrate the effectiveness of our method, indicating the better capabilities of handling environments with non-monotonic value functions.

研究动机与目标

• 解决合作多智能体强化学习中单调价值函数分解的表征局限性。
• 将无约束混合函数到单调类的最优投影形式化为策略后悔最小化问题。
• 推导出最小化最优策略与受限策略之间差距的闭式最优投影权重。
• 通过引入动态、上下文感知的权重自适应机制，超越 WQMIX 等启发式加权方案，改进价值函数分解。
• 在 Predator-Prey 和 SMAC 等具有挑战性的 MARL 环境中验证该方法，证明其具备更优的收敛性与性能表现。

提出的方法

• 将最优价值函数分解形式化为对状态-动作值投影权重的后悔最小化问题。
• 将策略后悔定义为最优策略与由单调投影导出的受限策略之间预期折扣回报的差异。
• 使用策略后悔的上界，通过拉格朗日乘子法实现可处理的优化。
• 应用 Karush–Kuhn–Tucker (KKT) 条件与隐函数定理，推导出最优投影权重的闭式解。
• 识别出最优权重中的四个关键组成部分：贝尔曼误差、价值低估、单调混合函数的梯度，以及策略内转移影响。
• 提出一种适用于实际 MARL 算法 ReMIX 的最优权重的可计算近似，实现基于后悔最小化的价值函数分解。

实验结果

研究问题

• RQ1 策略后悔最小化能否有效用于合作 MARL 中的价值函数分解优化？
• RQ2 在单调价值函数分解中，哪些关键成分对最优投影权重有贡献？
• RQ3 包含混合函数梯度与策略内转移信息如何提升分解性能？
• RQ4 在非单调价值函数环境中，ReMIX 相较于基于启发式的 WQMIX 等方法，性能提升程度如何？
• RQ5 ReMIX 对权重范围的归一化敏感程度如何？何种权重缩放可实现鲁棒性能？

主要发现

• 在 Predator-Prey 和 SMAC 环境中，ReMIX 相较于最先进的基于分解的 MARL 方法（如 WQMIX、QPlex、FOP 和 DOP）均展现出更优的收敛性与实证性能。
• 消融实验表明，若禁用所推导出的四个权重组成部分中的任意一个（贝尔曼误差、价值低估、混合函数梯度或策略内转移项），性能均显著下降，其中贝尔曼误差项最为关键。
• 当最小归一化权重设为 0.5 时，ReMIX 在 Predator-Prey 环境中无法收敛到良好策略，表明其对权重归一化高度敏感，且需采用较低的最小权重（如 0.1）以实现有效表征。
• ReMIX 中学习到的权重模式显示，在训练过程中出现中等权重（如热力图中的浅黄色），表明 ReMIX 避免了 WQMIX 的二值化加权方式，实现了更精细、自适应的价值投影。
• 当仅使用贝尔曼误差与价值低估项时，ReMIX 可退化为 WQMIX 的特例，为 WQMIX 的启发式设计提供了理论依据。
• 该方法的理论基础揭示，最优分解必须考虑混合函数的梯度与当前策略的转移质量，而此前方法均忽略了这一点。