[论文解读] The Holy Grail of Multi-Robot Planning: Learning to Generate Online-Scalable Solutions from Offline-Optimal Experts

Amanda Prorok, Jan Blumenkamp+4 more|arXiv (Cornell University)|Jul 26, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出一种基于学习的框架，通过模仿学习将离线最优的多智能体规划提炼为可在线扩展的去中心化策略。通过训练策略模仿集中式最优专家（例如，基于冲突的搜索）的行为，该方法在大规模系统中实现了接近最优的性能——在 200×200 地图上部署 1,000 台机器人时成功率高达 80%，且仅需专家计算量的 1/30——同时解决了仿真到现实的迁移问题以及通信鲁棒性挑战。

ABSTRACT

Many multi-robot planning problems are burdened by the curse of dimensionality, which compounds the difficulty of applying solutions to large-scale problem instances. The use of learning-based methods in multi-robot planning holds great promise as it enables us to offload the online computational burden of expensive, yet optimal solvers, to an offline learning procedure. Simply put, the idea is to train a policy to copy an optimal pattern generated by a small-scale system, and then transfer that policy to much larger systems, in the hope that the learned strategy scales, while maintaining near-optimal performance. Yet, a number of issues impede us from leveraging this idea to its full potential. This blue-sky paper elaborates some of the key challenges that remain.

研究动机与目标

• 通过将小规模集中式规划器的最优解迁移至大规模去中心化系统，弥合多智能体规划中的可扩展性差距。
• 通过利用离线学习将联合状态-动作空间的维度灾难问题卸载至离线阶段，从而克服其维度灾难问题。
• 通过采用鲁棒通信机制和面向现实的训练方法，缩小仿真到现实的差距，实现去中心化多智能体策略在真实世界中的部署。
• 构建一个兼顾最优性与可扩展性的框架，结合集中式最优性与去中心化执行。
• 通过结构化的数据生成与通信学习，确保策略在不同规模和部分可观测性下的泛化能力。

提出的方法

• 使用集中式最优规划器（例如，基于冲突的搜索）为小规模机器人团队生成高质量、无碰撞的轨迹。
• 通过模仿学习训练去中心化策略，以模仿专家的联合动作，实现在局部执行下仍保持全局性能。
• 将通信策略整合到策略中，以应对部分可观测性问题，提升协调能力，而无需完全状态访问。
• 应用领域随机化和真实网络仿真，以提升对现实部署中消息延迟、丢包和异步通信的鲁棒性。
• 采用仿真到现实的迁移技术，如真实到仿真适应和联邦学习，以弥合多智能体系统中的现实差距。
• 在逐步扩大的环境中评估策略（例如，从 20×20 到 200×200 地图），以测试其在训练规模之外的可扩展性与泛化能力。

实验结果

研究问题

• RQ1 在小规模集中式最优规划上进行训练的去中心化策略，能否在大规模多智能体系统中保持接近最优的性能并实现泛化？
• RQ2 在去中心化多智能体系统中，如何有效学习通信机制，以在部分可观测条件下维持协调？
• RQ3 多智能体系统仿真到现实迁移中的关键失效模式是什么，特别是与通信延迟和异步执行相关的问题？
• RQ4 在大规模协调任务中，从离线最优专家进行模仿学习，其性能在多大程度上优于传统的去中心化方法或强化学习基线？
• RQ5 如何通过仿真设计与训练策略，有效缓解多智能体系统中仿真到现实的现实差距？

主要发现

• 在 20×20 地图中基于 10 台机器人训练的策略，在部署于 200×200 地图中 1,000 台机器人时，成功率超过 80%，展现出强大的可扩展性。
• 所学习的策略仅需集中式专家 1/30 的计算时间，证实了其在线可扩展性。
• 该方法在去中心化多智能体路径规划中实现了超过 96% 的成功率，优于以往基于学习的方法。
• 初步结果表明，小规模、部分可观测环境中学习到的局部协调模式，可泛化至大规模、结构化环境。
• 领域随机化和真实仿真提升了对通信延迟和消息丢包的鲁棒性，尽管可能导致次优策略。
• 将通信学习整合到模仿学习中，使去中心化策略在部分可观测条件下仍能保持接近集中式最优的性能。