[论文解读] Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs

Jiayu Chen, Jingdi Chen+2 more|arXiv (Cornell University)|Jul 21, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本文提出了一种可扩展的多智能体选项发现方法，通过将联合状态空间近似为单个智能体转移图的克罗内克积，实现了对联合覆盖选项构建所必需的费德勒向量的高效估计。该方法显著提升了多智能体强化学习中的联合探索能力，在包括多智能体网格迷宫和Mujoco环境在内的复杂任务中，优于单智能体选项和基线方法。

ABSTRACT

Covering skill (a.k.a., option) discovery has been developed to improve the exploration of RL in single-agent scenarios with sparse reward signals, through connecting the most distant states in the embedding space provided by the Fiedler vector of the state transition graph. Given that joint state space grows exponentially with the number of agents in multi-agent systems, existing researches still relying on single-agent skill discovery either become prohibitive or fail to directly discover joint skills that improve the connectivity of the joint state space. In this paper, we propose multi-agent skill discovery which enables the ease of decomposition. Our key idea is to approximate the joint state space as a Kronecker graph, based on which we can directly estimate its Fiedler vector using the Laplacian spectrum of individual agents' transition graphs. Further, considering that directly computing the Laplacian spectrum is intractable for tasks with infinite-scale state spaces, we further propose a deep learning extension of our method by estimating eigenfunctions through NN-based representation learning techniques. The evaluation on multi-agent tasks built with simulators like Mujoco, shows that the proposed algorithm can successfully identify multi-agent skills, and significantly outperforms the state-of-the-art. Codes are available at: https://github.itap.purdue.edu/Clan-labs/Scalable_MAOD_via_KP.

研究动机与目标

• 为解决多智能体强化学习（MARL）中稀疏奖励和状态空间指数级增长的挑战。
• 实现直接发现能提升联合状态空间连通性的联合多智能体选项，而非依赖单智能体选项。
• 通过深度表示学习将该方法扩展至无限或大规模状态空间。
• 支持多智能体选项在MARL中的去中心化与集中式应用。

提出的方法

• 将联合状态空间近似为单个智能体转移图的克罗内克积。
• 利用一个理论结果，通过单个智能体图的拉普拉斯谱来估计联合图的费德勒向量。
• 通过识别估计费德勒向量中最小值和最大值对应的状态来构建覆盖选项，以增强代数连通性。
• 引入深度学习扩展，使用神经网络来近似连续或无限规模状态空间下的拉普拉斯谱。
• 支持多种采用策略：去中心化、集中式以及基于群体的多智能体选项。
• 使用如中央化Q学习+力（Centralized Q-Learning + Force）等算法，将发现的选项集成到分层MARL框架中。

实验结果

研究问题

• RQ1 克罗内克图近似是否能实现MARL中联合多智能体选项的高效且可扩展的发现？
• RQ2 能否利用单个智能体转移图谱来有效估计联合状态空间的费德勒向量？
• RQ3 与单智能体选项相比，多智能体选项是否能显著提升稀疏奖励MARL任务中的联合探索与性能？
• RQ4 深度学习扩展在将该方法扩展至连续或无限状态环境方面是否有效？
• RQ5 集中式与去中心化采用多智能体选项的性能增益如何？

主要发现

• 在6智能体网格迷宫任务中，使用成对多智能体选项的智能体成功完成了任务，而使用单智能体选项或无选项的智能体则失败。
• 在集中式训练（中央化Q学习+力）下，使用多智能体选项的智能体在高达63%的步数中发生碰撞的高干扰环境下仍表现出稳定性能，显示出对动态干扰的鲁棒性。
• 在Mujoco任务中，使用所提多智能体选项的智能体优于无选项的基线方法以及使用单智能体选项的智能体，尤其在复杂的协作环境中表现更优。
• 深度学习扩展使得在具有无限规模状态空间的连续控制任务中能够有效发现和采用选项，同时保持性能优势。
• 该方法在多种环境中（包括网格迷宫、网格房间和Mujoco）均实现了显著的性能提升，且在所有情况下均持续优于最先进基线方法。