[论文解读] Neuroflight: Next Generation Flight Control Firmware

William R. Koch, Renato Mancuso+1 more|arXiv (Cornell University)|Jan 19, 2019

Robotic Path Planning Algorithms参考文献 23被引用 25

一句话总结

Neuroflight 是首个针对多轴旋翼机和固定翼飞机的开源、基于神经网络的飞行控制固件，用强化学习训练的控制器取代了传统的 PID 控制。它在 ARM Cortex-M7 上以超过 2kHz 的频率实现了稳定、高性能的飞行，包括特技飞行，证明了在嵌入式系统上端到端神经飞行控制的实际可行性。

ABSTRACT

Little innovation has been made to low-level attitude flight control used by uncrewed aerial vehicles (UAVs), which still predominantly uses the classical PID controller. In this work we introduce Neuroflight, the first open source neuro-flight controller firmware. We present our toolchain for training a neural network in simulation and compiling it to run on embedded hardware. Challenges faced jumping from simulation to reality are discussed along with our solutions. Our evaluation shows the neural network can execute at over 2.67kHz on an Arm Cortex-M7 processor and flight tests demonstrate a quadcopter running Neuroflight can achieve stable flight and execute aerobatic maneuvers.

研究动机与目标

• 开发一种神经飞行控制固件，用于替代小型无人机内环姿态控制回路中的经典 PID 控制。
• 通过提升仿真保真度和可迁移性，弥合训练深度强化学习控制器时的仿真到现实差距。
• 实现在资源受限的嵌入式微控制器上直接部署训练好的神经网络，而不仅限于高性能机载计算机。
• 提供一个完整的开源工具链，用于在真实硬件上训练、编译和部署神经飞行控制器。
• 为下一代飞行控制固件奠定基础，使其在动态和不确定环境中优于 PID。

提出的方法

• 在修改后的 GymFC-v1.5 仿真环境中，使用近端策略优化（PPO）训练深度神经网络，从原始传感器输入中学习姿态控制。
• 设计了定制的仿真环境（GymFC-v1.5），通过引入传感器噪声、执行器动态和环境扰动，提升真实感，以增强仿真到现实的迁移能力。
• 实现了完整的工具链，将训练好的神经网络编译为 C 代码，并部署到 ARM Cortex-M7 微控制器上。
• 采用轻量级神经网络架构，激活函数为 ReLU，输出分布受限制（如使用 Beta 函数），以确保实时性能和稳定性。
• 将神经网络直接集成到飞行控制固件中，取代内环控制回路中的 PID 和电机混合逻辑。
• 通过在四旋翼机上的真实飞行测试验证了控制器性能，并与手动调校的 PID 控制器进行对比。

实验结果

研究问题

• RQ1 通过强化学习在仿真中训练的深度神经网络是否能在真实微型无人机上实现稳定且高性能的飞行，而无需依赖 PID？
• RQ2 为确保神经飞行控制器从仿真成功迁移到真实飞行，仿真环境需要进行哪些修改？
• RQ3 在低功耗嵌入式微控制器（如 ARM Cortex-M7）上以高控制频率（>2kHz）直接部署训练好的神经网络控制器是否可行？
• RQ4 在特技机动过程中，学习得到的神经网络控制器与手动调校的 PID 控制器相比，在跟踪精度和鲁棒性方面表现如何？
• RQ5 从基于仿真的训练过渡到神经飞行控制系统的实际部署过程中，面临的主要挑战和解决方案是什么？

主要发现

• 神经网络控制器在 ARM Cortex-M7 微控制器上实现了超过 2kHz 的实时执行，满足了稳定飞行的严格时序要求。
• 飞行测试表明，神经飞行控制器实现了稳定飞行，并成功执行了复杂的特技机动，包括横滚、翻滚和半斤斗动作。
• 在所有评估指标中，神经网络控制器均优于手动调校的 PID 控制器，包括跟踪精度和对动态输入的响应能力。
• 与需要约 30 分钟使用 Ziegler-Nichols 方法调校九个增益参数的 PID 不同，神经网络控制器无需任何手动调校。
• 通过使用高保真仿真环境（GymFC-v1.5），包括真实的传感器噪声和执行器动态，仿真与现实之间的性能差距得以缩小。
• 在半斤斗机动中，神经网络控制器在俯仰轴上表现出更优的跟踪性能，明显减少了超调并提升了响应速度，优于 PID。