[论文解读] Qatten: A General Framework for Cooperative Multiagent Reinforcement Learning

Yaodong Yang, Jianye Hao+5 more|arXiv (Cornell University)|Feb 10, 2020

Reinforcement Learning in Robotics参考文献 10被引用 108

一句话总结

Qatten 引入了一个通用框架，利用多头注意力混合器将全局多智能体 Q 值分解为智能体级 Q 值，从而实现可处理的分布式策略优化并在协作型多智能体强化学习中提升性能，在 StarCraft II SMAC 基准测试中得到验证。

ABSTRACT

In many real-world tasks, multiple agents must learn to coordinate with each other given their private observations and limited communication ability. Deep multiagent reinforcement learning (Deep-MARL) algorithms have shown superior performance in such challenging settings. One representative class of work is multiagent value decomposition, which decomposes the global shared multiagent Q-value $Q_{tot}$ into individual Q-values $Q^{i}$ to guide individuals' behaviors, i.e. VDN imposing an additive formation and QMIX adopting a monotonic assumption using an implicit mixing method. However, most of the previous efforts impose certain assumptions between $Q_{tot}$ and $Q^{i}$ and lack theoretical groundings. Besides, they do not explicitly consider the agent-level impact of individuals to the whole system when transforming individual $Q^{i}$s into $Q_{tot}$. In this paper, we theoretically derive a general formula of $Q_{tot}$ in terms of $Q^{i}$, based on which we can naturally implement a multi-head attention formation to approximate $Q_{tot}$, resulting in not only a refined representation of $Q_{tot}$ with an agent-level attention mechanism, but also a tractable maximization algorithm of decentralized policies. Extensive experiments demonstrate that our method outperforms state-of-the-art MARL methods on the widely adopted StarCraft benchmark across different scenarios, and attention analysis is further conducted with valuable insights.

研究动机与目标

• 动机：在部分观测和有限通信条件下协调多个智能体的挑战。
• 给出全局 Q 值 Q_tot 相对于单个 Q 值 Q^i 的理论分解。
• 提出一个实用的基于多头注意力的混合网络（Qatten），用于近似 Q_tot。
• 确保去中心化策略在 CTDE 下最大化集中化的价值函数。
• 在 StarCraft II SMAC 基准测试中展示出色的性能并分析注意力权重。

提出的方法

• 推导分解公式：Q_tot(s, a) ≈ c(s) + ∑_h ∑_i λ_{i,h}(s) Q^i(s, a^i)。
• 使用带可微分键值记忆的多头注意力来近似将 Q^i 组合成 Q_tot 的系数 λ_{i,h}(s)。
• 融入一个基于注意力的混合网络，其以全局状态 s 和智能体特征 u^i 为条件，生成智能体层面的混合权重。
• 可选地引入加权头部 Q 值，以放宽单调性界限并提升表示容量。
• 保持单调性以在离线/离策略学习中实现 IGM（Individual-Global-Max）属性，确保可行的最大化。

实验结果

研究问题

• RQ1 能否从每个智能体的 Q^i 以原理性方式分解 Q_tot，以实现去中心化执行下的有效集中式训练？
• RQ2 多头注意力是否能够有效建模智能体层面对全局 Q 值在协作型 MARL 中的影响？
• RQ3 所提出的 Qatten 框架是否在具有挑战性的 StarCraft II SMAC 基准测试上优于现有的 MARL 方法？
• RQ4 注意力权重 λ_{i,h} 如何在任务中反映智能体的角色和重要性，是否可以被解释以获得洞见？

主要发现

• Qatten 取得了出色的性能，在 StarCraft SMAC 基准测试的多种场景中，常常优于最先进的 MARL 方法。
• 基于注意力的混合网络通过多头在多个阶层纳入智能体级影响，提供更精炼的 Q_tot 表征。
• 该方法在 Q_tot 与 Q^i 之间保持单调性，使在去中心化执行下实现可行的联合行动价值最大化成为可能。
• 消融研究表明加权头部 Q 值在困难场景下提升了性能，表明增加非线性带来益处。
• 注意力分析揭示了不同头部在战斗中如何根据智能体的角色和健康状况分配权重。