[论文解读] QuadSwarm: A Modular Multi-Quadrotor Simulator for Deep Reinforcement Learning with Direct Thrust Control

Zhehui Huang, Sumeet Batra+8 more|arXiv (Cornell University)|Jun 15, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

QuadSwarm 是一个高速、模块化、基于 Python 的模拟器，用于单机和多旋翼飞行器的深度强化学习（RL），具备直接的每旋翼推力控制、基于物理的 Crazyflie 2.x 动力学模型，以及领域随机化，可实现零样本的 sim2real 迁移。在 16 核 CPU 上运行八个四旋翼飞行器时，其模拟吞吐量超过每秒 62,000 个样本，支持快速、可扩展且可并行化的复杂多智能体飞行策略训练。

ABSTRACT

Reinforcement learning (RL) has shown promise in creating robust policies for robotics tasks. However, contemporary RL algorithms are data-hungry, often requiring billions of environment transitions to train successful policies. This necessitates the use of fast and highly-parallelizable simulators. In addition to speed, such simulators need to model the physics of the robots and their interaction with the environment to a level acceptable for transferring policies learned in simulation to reality. We present QuadSwarm, a fast, reliable simulator for research in single and multi-robot RL for quadrotors that addresses both issues. QuadSwarm, with fast forward-dynamics propagation decoupled from rendering, is designed to be highly parallelizable such that throughput scales linearly with additional compute. It provides multiple components tailored toward multi-robot RL, including diverse training scenarios, and provides domain randomization to facilitate the development and sim2real transfer of multi-quadrotor control policies. Initial experiments suggest that QuadSwarm achieves over 48,500 simulation samples per second (SPS) on a single quadrotor and over 62,000 SPS on eight quadrotors on a 16-core CPU. The code can be found in https://github.com/Zhehui-Huang/quad-swarm-rl.

研究动机与目标

• 解决在多四旋翼系统中训练深度强化学习策略时对高速、可并行化且物理上准确的模拟器的需求。
• 通过整合真实物理模型和领域随机化，实现四旋翼控制策略的鲁棒 sim2real 迁移。
• 支持多样化的统一训练场景和基于交互的奖励机制，以促进多智能体协同。
• 提供一个完全基于 Python 的模块化模拟器，简化与深度强化学习库的集成，加速研究迭代。

提出的方法

• 使用 Numba 优化的 Python 代码将物理模拟与渲染解耦，实现高速单线程吞吐量。
• 实现一种临时物理引擎，支持直接的每旋翼推力控制，并对 Crazyflie 2.x 平台进行精确的动力学建模。
• 在物理参数（如质量、阻力、推力）上应用领域随机化，以提升策略的泛化能力和 sim2real 迁移性能。
• 支持多种训练场景，包括目标到达、编队飞行和避碰，采用统一的奖励函数。
• 与 Sample Factory 强化学习库集成，通过同步/异步 PPO 算法加速训练。
• 采用模块化设计，包含可重用的四旋翼动力学、碰撞检测和奖励塑造组件。

实验结果

研究问题

• RQ1 完全基于 Python 的模拟器是否能在保持多四旋翼 RL 准确物理建模的同时，实现高模拟吞吐量？
• RQ2 直接的每旋翼推力控制在多智能体四旋翼系统中如何提升策略学习和 sim2real 迁移性能？
• RQ3 模拟器中应用的领域随机化在多大程度上增强了训练策略的泛化能力和鲁棒性？
• RQ4 具有多样化训练场景和基于交互奖励的模块化模拟器是否能提升复杂环境中多智能体的协同能力？
• RQ5 QuadSwarm 的性能在四旋翼数量和计算资源增加时如何扩展？

主要发现

• QuadSwarm 在单个四旋翼上实现超过每秒 48,500 个模拟样本（SPS），在八个四旋翼上使用 16 核 CPU 时实现超过每秒 62,000 个 SPS。
• 即使在启用碰撞检测的情况下，模拟器仍保持高性能，证明了其高效的并行化和可扩展性。
• 在 QuadSwarm 中训练的策略在单机和多机四旋翼场景中均实现了零样本部署，成功迁移到真实硬件。
• 与 Sample Factory 的集成实现了快速的时钟时间训练，显著缩短了复杂多智能体策略的试验时间。
• 多样化的训练场景和基于交互的奖励机制，使控制策略更具鲁棒性和泛化能力。
• 与现有模拟器（如 gym-pybullet-drones）相比，QuadSwarm 的速度提升 2 倍，且在多智能体 RL 和每旋翼控制支持方面表现更优。