[论文解读] QGNN: Value Function Factorisation with Graph Neural Networks

Ryan Kortvelesy, Amanda Prorok|arXiv (Cornell University)|May 25, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

QGNN 提出了一种基于图神经网络的多智能体强化学习价值函数分解方法，通过多跳消息传递改进信用分配。通过将智能体建模为图结构，并使用排列不变的混合器，QGNN 在 StarCraft、Estimate Game 和 Coalition Structure Generation 任务上实现了最先进性能，且参数量少于 QMIX-Att 和 GraphMIX 等基线方法。

ABSTRACT

In multi-agent reinforcement learning, the use of a global objective is a powerful tool for incentivising cooperation. Unfortunately, it is not sample-efficient to train individual agents with a global reward, because it does not necessarily correlate with an agent's individual actions. This problem can be solved by factorising the global value function into local value functions. Early work in this domain performed factorisation by conditioning local value functions purely on local information. Recently, it has been shown that providing both local information and an encoding of the global state can promote cooperative behaviour. In this paper we propose QGNN, the first value factorisation method to use a graph neural network (GNN) based model. The multi-layer message passing architecture of QGNN provides more representational complexity than models in prior work, allowing it to produce a more effective factorisation. QGNN also introduces a permutation invariant mixer which is able to match the performance of other methods, even with significantly fewer parameters. We evaluate our method against several baselines, including QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments include Starcraft, the standard benchmark for credit assignment; Estimate Game, a custom environment that explicitly models inter-agent dependencies; and Coalition Structure Generation, a foundational problem with real-world applications. The results show that QGNN outperforms state-of-the-art value factorisation baselines consistently.

研究动机与目标

• 解决合作型多智能体强化学习中的信用分配问题，即全局奖励与个体行为之间无直接相关性。
• 通过图结构模型整合全局状态信息与智能体间依赖关系，改进价值函数分解。
• 通过排列不变的混合器减少参数数量，同时保持或提升性能。
• 证明在通信型模型中，尤其是图神经网络架构中，表示能力的重要性。
• 提出一种新指标，通过比较学习到的局部值与已知真实值，评估隐式信用分配。

提出的方法

• QGNN 将智能体建模为图中的节点，边表示通信链路，通过多跳消息传递实现更丰富的表征学习。
• 采用具有多层消息传递的图神经网络（GNN），学习在局部观测和全局上下文条件下的局部价值函数。
• 排列不变的混合器将 GNN 处理后的表征组合，生成个体 Q 值，确保对智能体顺序的不变性。
• 通过调整图的连通性，支持渐进式通信，模拟现实世界中的通信范围等约束。
• 通过 GNN 消息传递隐式学习类似 Shapley 值的信用分配，并在具有已知真实局部值的定制环境中进行验证。
• 消融研究评估了图连通性（通信范围）和各组件贡献的影响，确认表示能力复杂度是关键因素。

实验结果

研究问题

• RQ1 与先前方法相比，基于 GNN 且具备多跳消息传递的架构是否能改进价值函数分解？
• RQ2 排列不变的混合器是否能在合作型多智能体强化学习中以更少参数实现高性能？
• RQ3 在信用分配性能方面，GNN 组件的表示复杂度与混合器组件相比如何？
• RQ4 在信用分配设置中，GNN 能在多大程度上隐式学习到真实局部值，通过新提出的评估指标衡量？
• RQ5 图连通性（如通信范围）对价值函数分解方法的性能有何影响？

主要发现

• QGNN 在所有评估环境中均优于最先进基线方法，包括 QMIX-Att、GraphMIX、QMIX、VDN 和混合模型。
• 在 StarCraft 多智能体挑战中，QGNN 的平均回报高于所有基线方法，表明其在复杂合作任务中具有更优的信用分配能力。
• 在定制的 Estimate Game 环境中，QGNN 成功学习到智能体间的依赖关系，并在性能上匹配或超越依赖显式注意力机制或复杂架构的方法。
• 在 Coalition Structure Generation 任务中，QGNN 以远少于同类模型的参数量实现了最优或近似最优解。
• 消融研究确认，GNN 中的表示复杂度比混合器中更为关键，GNN 的深度和消息传递跳数对性能影响更大。
• 基于已知真实局部值的新指标表明，QGNN 的隐式信用分配能紧密逼近 Shapley 值，验证了其与合作博弈论的理论一致性。