[论文解读] PyFlyt -- UAV Simulation Environments for Reinforcement Learning Research

Jun Jet Tai, Jim Wong+4 more|arXiv (Cornell University)|Apr 3, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

PyFlyt 是一个基于 Bullet 物理引擎构建的模块化、开源无人机仿真平台，原生支持 Gymnasium API，可灵活配置多种无人机类型，并实现强化学习（RL）算法的标准化基准测试。它在四旋翼机和固定翼无人机环境中成功训练了 RL 代理，无论是在密集奖励还是稀疏奖励设置下，均建立了可复现、可扩展的无人机 RL 研究框架。

ABSTRACT

Unmanned aerial vehicles (UAVs) have numerous applications, but their efficient and optimal flight can be a challenge. Reinforcement Learning (RL) has emerged as a promising approach to address this challenge, yet there is no standardized library for testing and benchmarking RL algorithms on UAVs. In this paper, we introduce PyFlyt, a platform built on the Bullet physics engine with native Gymnasium API support. PyFlyt provides modular implementations of simple components, such as motors and lifting surfaces, allowing for the implementation of UAVs of arbitrary configurations. Additionally, PyFlyt includes various task definitions and multiple reward function settings for each vehicle type. We demonstrate the effectiveness of PyFlyt by training various RL agents for two UAV models: quadrotor and fixed-wing. Our findings highlight the effectiveness of RL in UAV control and planning, and further show that it is possible to train agents in sparse reward settings for UAVs. PyFlyt fills a gap in existing literature by providing a flexible and standardised platform for testing RL algorithms on UAVs. We believe that this will inspire more standardised research in this direction.

研究动机与目标

• 为解决无人机 RL 算法基准测试中缺乏标准化、可扩展仿真环境的问题。
• 提供一个灵活、模块化的框架，通过电机、升力面和云台等组件，构建任意构型的无人机。
• 通过兼容 Gymnasium 的环境，实现具有密集和稀疏奖励函数的标准化、可复现的 RL 训练。
• 支持多种无人机类型，包括四旋翼机、固定翼机、火箭，以及未来可能的飞翼机和六旋翼机等。
• 通过确定性仿真、CI 测试、PyPI 打包和全面文档，提升平台的可用性和采用率。

提出的方法

• PyFlyt 使用 Bullet 物理引擎模拟真实的无人机动力学，包括碰撞、控制回路频率和多无人机环境。
• 实现模块化组件（如电机、升力面、云台、摄像头），可组合构建任意构型的无人机。
• 平台提供预构建的无人机模型（如 QuadX、Fixedwing、Rocket）及其对应的 Gymnasium 兼容环境，用于 RL 训练。
• 奖励函数由多个分量构成：基于距离的惩罚、靠近目标时的速度奖励，以及成功或失败的终端奖励。
• 通过 CCGE 和 AWAC 等算法，利用密集奖励预训练策略进行迁移，实现稀疏奖励训练。
• 通过随机种子初始化实现确定性仿真，并集成持续集成（CI）和 PyPI 打包，以提升可复现性和分发能力。

Figure 1: The PyFlyt simulator, showing some prebuilt \acp UAV - one Rocket, one Fixedwing, one generic QuadX, and a cluster of three Crazyflie QuadXs.

实验结果

研究问题

• RQ1 模块化、基于物理的无人机仿真平台是否能够实现在多种无人机构型下对 RL 算法的标准化基准测试？
• RQ2 在如火箭着陆或航路点导航等复杂无人机任务中，RL 代理在稀疏奖励环境下的成功训练程度如何？
• RQ3 现代异策略 RL 算法（如 SAC、CCGE、AWAC）在统一、可扩展的仿真框架中训练无人机控制策略的效率如何？
• RQ4 该平台是否能够以一致且真实的方式支持多种无人机类型，包括非标准构型如火箭和固定翼飞机？
• RQ5 Gymnasium API 与 CI/PyPI 工作流的集成，如何提升无人机 RL 研究中的可复现性和采用率？

主要发现

• PyFlyt 在 PyFlyt/QuadX-Waypoints-v0 和 PyFlyt/Fixedwing-Waypoints-v0 环境中成功训练了 SAC 代理，采用密集奖励，展示了在多个随机种子下稳定的学习曲线。
• 平台通过 CCGE 和 AWAC 实现了稀疏奖励环境下的成功训练，策略由预训练的 SAC 策略进行迁移，证明了在低监督场景下的可行性。
• Rocket-Landing-v0 环境仅使用了总燃料的 1%，极具挑战性，但代理仍实现了低速度、精准的触地着陆。
• Rocket-Landing-v0 环境的奖励函数结合了距离惩罚、速度奖励和终端成功/失败奖励，有效引导代理实现安全着陆。
• 所有环境的学习曲线均表现出一致的四分位数均值，并带有自举法置信区间，表明训练结果可靠且可复现。
• 平台的模块化设计及对多智能体 RL 的支持（通过 PettingZoo）正在规划中，同时正在开发更多气动特性，如 Dryden 湍流和下洗力建模。

Figure 2: Top level overview of the PyFlyt architecture, showing the composition of classes that make up core \ac UAV flight engine and how it integrates into a Gymnasium environment. Coloured boxes describe a class definition, while white boxes describe various functionality of the classes.