[论文解读] SCRIMP: Scalable Communication for Reinforcement- and Imitation-Learning-Based Multi-Agent Pathfinding

Yutong Wang, Bairan Xiang+2 more|arXiv (Cornell University)|Mar 1, 2023

Robotic Path Planning Algorithms被引用 4

一句话总结

SCRIMP 提出了一种可扩展的、基于通信增强的强化学习与模仿学习框架，用于多智能体路径规划（MAPF），使智能体仅通过 3×3 视野即可学习到无碰撞路径。通过采用改进的基于 Transformer 的全局通信机制、随机冲突解决策略以及内在奖励机制，SCRIMP 在保持大规模团队高可扩展性的同时，实现了与集中式规划器相当的性能表现。

ABSTRACT

Trading off performance guarantees in favor of scalability, the Multi-Agent Path Finding (MAPF) community has recently started to embrace Multi-Agent Reinforcement Learning (MARL), where agents learn to collaboratively generate individual, collision-free (but often suboptimal) paths. Scalability is usually achieved by assuming a local field of view (FOV) around the agents, helping scale to arbitrary world sizes. However, this assumption significantly limits the amount of information available to the agents, making it difficult for them to enact the type of joint maneuvers needed in denser MAPF tasks. In this paper, we propose SCRIMP, where agents learn individual policies from even very small (down to 3x3) FOVs, by relying on a highly-scalable global/local communication mechanism based on a modified transformer. We further equip agents with a state-value-based tie-breaking strategy to further improve performance in symmetric situations, and introduce intrinsic rewards to encourage exploration while mitigating the long-term credit assignment problem. Empirical evaluations on a set of experiments indicate that SCRIMP can achieve higher performance with improved scalability compared to other state-of-the-art learning-based MAPF planners with larger FOVs, and even yields similar performance as a classical centralized planner in many cases. Ablation studies further validate the effectiveness of our proposed techniques. Finally, we show that our trained model can be directly implemented on real robots for online MAPF through high-fidelity simulations in gazebo.

研究动机与目标

• 为解决基于去中心化与部分可观测性的 MAPF 规划器在复杂联合动作中面临的可扩展性与性能限制问题。
• 使仅具备极小局部观测（3×3 视野）的智能体通过可扩展的动态通信机制实现高成功率。
• 缓解长期信用分配问题，并提升稀疏奖励环境中的探索效率。
• 设计一种避免‘通信噪声问题’的同时实现有效团队协作的通信机制。
• 通过高保真机器人仿真验证训练策略在真实场景中的可部署性。

提出的方法

• 引入一种改进的 Transformer 编码器，以动态融合其他智能体的信息，实现团队内可扩展且选择性的信息共享。
• 采用基于状态值的随机冲突解决机制，通过根据学习到的长期团队价值优先级来解决顶点冲突与交换冲突。
• 通过使用剧集缓冲的内在奖励机制，鼓励探索并提高目标达成概率。
• 采用结合深度强化学习与模仿学习的混合训练方法，以稳定训练过程并提升样本效率。
• 在仅依赖局部观测与全局通信的完全去中心化推理设置下进行训练，支持实时在线规划。
• 在缺乏智能体间通信时引入自消息机制，以隔离通信模块的贡献。

实验结果

研究问题

• RQ1 基于改进的 Transformer 的高度可扩展、可微通信机制，是否能提升在局部观测极简的去中心化 MAPF 中的性能？
• RQ2 基于学习的状态值的随机冲突解决策略，在对称 MAPF 场景中是否优于随机或固定优先级的冲突解决方法？
• RQ3 基于剧集探索的内在奖励机制，在稀疏奖励的 MAPF 环境中，能在多大程度上提升学习效率与成功率？
• RQ4 SCRIMP 在不同团队规模与任务复杂度下，与当前最先进的基于学习的规划器及经典集中式规划器相比，性能表现如何？
• RQ5 在随机、非结构化环境中训练的策略，是否可直接部署于真实机器人，在结构化、高保真的仿真环境中运行而无需微调？

主要发现

• SCRIMP 在大多数任务中实现了与经典集中式规划器 ODrM* 相当的成功率，包括需要联合动作的复杂场景。
• 在高智能体密度与复杂布局的挑战性任务中，SCRIMP 超过了当前最先进的基于学习的规划器，即使后者拥有更大的视野。
• 消融实验表明，移除通信机制（SCRIMP-without-com）后成功率最低，验证了其在复杂任务中的关键作用。
• 随机冲突解决机制显著优于随机或固定优先级策略，尤其在对称冲突场景中表现突出。
• 内在奖励机制提升了探索效率并缓解了长期信用分配问题，使复杂任务中的成功率显著高于仅使用外在奖励的基线方法。
• 在未重新训练的情况下，成功将训练好的 SCRIMP 策略部署于 16 台真实机器人上，在 Gazebo 中实现了高保真仿真环境下的实时、在线无碰撞路径规划。