[论文解读] QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning

Kyunghwan Son, Dae Woo Kim+3 more|arXiv (Cornell University)|May 14, 2019

Reinforcement Learning in Robotics参考文献 33被引用 198

一句话总结

QTRAN 引入基于变换的因解，移除可加性/单调性约束，使在更广泛的合作型多智能体强化学习任务中实现正确的联合行动因子分解，并在非单调环境中优于 VDN/QMIX。

ABSTRACT

We explore value-based solutions for multi-agent reinforcement learning (MARL) tasks in the centralized training with decentralized execution (CTDE) regime popularized recently. However, VDN and QMIX are representative examples that use the idea of factorization of the joint action-value function into individual ones for decentralized execution. VDN and QMIX address only a fraction of factorizable MARL tasks due to their structural constraint in factorization such as additivity and monotonicity. In this paper, we propose a new factorization method for MARL, QTRAN, which is free from such structural constraints and takes on a new approach to transforming the original joint action-value function into an easily factorizable one, with the same optimal actions. QTRAN guarantees more general factorization than VDN or QMIX, thus covering a much wider class of MARL tasks than does previous methods. Our experiments for the tasks of multi-domain Gaussian-squeeze and modified predator-prey demonstrate QTRAN's superior performance with especially larger margins in games whose payoffs penalize non-cooperative behavior more aggressively.

研究动机与目标

• 在 CTDE 下，激发并解决现有价值函数因子分解方法（VDN、QMIX）存在的局限性。
• 开发一个通用的因子分解框架，适用于任何可分解的 MARL 任务，而不依赖严格的结构假设。
• 提出一个三网络架构（individual Q_i、joint Q_jt、state V_jt）及一个学习到的变换以保持最优行动。
• 在非单调任务和更复杂的协作环境中展示改进的性能。

提出的方法

• 定义 IGM 并分析现有因子分解中可加性与单调性的局限性。
• 通过将联合价值 Q_jt 转换为 Q_jt'，使其等于各个 Q_i 的线性和再加上状态校正项 V_jt，以保持最优行动。
• 提出两种变体，QTRAN-base 和 QTRAN-alt，采用不同的处理非最优动作和稳定性的方法（基于定理的条件）。
• 设计三种神经网络：单独的 Q_i 网络、一个 joint Q_jt 网络，以及一个状态值 V_jt 网络；使用集中式训练、经验回放和目标网络。
• 使用两个损失项（L_td 为真实的 Q_jt，L_opt/L_nopt 用于因子分解保真度），并结合仿射变换的考虑，以确保因子分解保持正确。

实验结果

研究问题

• RQ1 QTRAN 是否可以在不受 VDN/QMIX 的可加性或单调性约束的情况下对任何可分解的 MARL 任务进行因子分解？
• RQ2 如何将联合行动值转换为便于分解的形式，同时保留最优的联合行动？
• RQ3 QTRAN-base 和 QTRAN-alt 在非单调且协作环境复杂的场景中，是否能提供稳定且样本高效的学习？
• RQ4 所提出的网络是否能够实现使用局部最优行动的去中心化执行，同时通过集中式训练确保全局最优？

主要发现

• QTRAN 在非单调且更具挑战性的协作任务上优于 VDN 和 QMIX。
• 变换方法允许在比仅仅可加性/单调性更广泛的任务族中实现正确的因子分解。
• QTRAN-alt 通过强制对非最优动作的跟踪条件，提升稳定性与样本效率。
• 在已测试的环境中，随着非单调性的增加，QTRAN变体实现更高的奖励和更好的协作。