[论文解读] Teaching UAVs to Race Using Sim4CV

Matthias Müller, Vincent Casser+3 more|arXiv (Cornell University)|Aug 19, 2017

Robotic Path Planning Algorithms参考文献 31被引用 3

一句话总结

本文提出在照片级真实感仿真环境（Sim4CV）中，通过模仿学习训练深度神经网络，实现无人机竞速的端到端控制，结合数据增强技术纠正导航误差。该方法在性能上超越现有最先进方法，并可在嵌入式硬件上实现实时推理，展现出优于许多人类飞行员的鲁棒性与一致性。

ABSTRACT

Automating the navigation of unmanned aerial vehicles (UAVs) in diverse scenarios has gained much attention in recent years. However, teaching UAVs to fly in challenging environments remains an unsolved problem, mainly due to the lack of training data. In this paper, we train a deep neural network to predict UAV controls from raw image data for the task of autonomous UAV racing in a photo-realistic simulation. Training is done through imitation learning with data augmentation to allow for the correction of navigation mistakes. Extensive experiments demonstrate that our trained network (when sufficient data augmentation is used) outperforms state-of-the-art methods and flies more consistently than many human pilots. Additionally, we show that our optimized network architecture can run in real-time on embedded hardware, allowing for efficient on-board processing critical for real-world deployment. From a broader perspective, our results underline the importance of extensive data augmentation techniques to improve robustness in end-to-end learning setups.

研究动机与目标

• 解决由于真实世界训练数据不足，导致无人机在复杂动态环境中导航困难的挑战。
• 仅使用原始图像输入和端到端策略学习，实现无人机的自主竞速。
• 通过在模仿学习过程中进行大规模数据增强，提升无人机控制的泛化能力和鲁棒性。
• 确保在嵌入式硬件上实现实时推理，以支持实际场景中的部署。

提出的方法

• 使用模仿学习训练深度神经网络，直接将原始RGB图像观测映射到无人机控制指令。
• 利用照片级真实感仿真环境（Sim4CV）生成多样化且可扩展的训练数据。
• 在训练过程中应用数据增强技术，以纠正导航错误并提升策略鲁棒性。
• 优化网络架构以实现低延迟推理，支持在嵌入式系统上实现实时部署。
• 使用人类飞行员飞行数据作为专家示范，监督模仿学习过程。
• 在仿真环境中评估策略性能，并评估其在嵌入式硬件上的实时推理能力。

实验结果

研究问题

• RQ1 在照片级真实感仿真环境中，结合数据增强的模仿学习能否训练出在竞速性能上优于最先进方法的无人机？
• RQ2 数据增强在多大程度上提升了端到端无人机控制策略的鲁棒性与一致性？
• RQ3 训练好的策略能否在适合机载部署的嵌入式硬件上实现实时推理？
• RQ4 在一致性和速度方面，所学策略的性能与人类飞行员相比如何？

主要发现

• 所提方法在Sim4CV仿真环境中的自主无人机竞速任务中，性能优于现有最先进方法。
• 经过充分的数据增强后，训练得到的策略在一致性和性能上优于许多人类飞行员。
• 经过优化的网络架构实现在嵌入式硬件上的实时推理，支持机载部署。
• 数据增强通过在训练期间纠正导航错误，显著提升了策略的鲁棒性。
• 结合原始图像输入与模仿学习的端到端学习，为无人机竞速提供了一种可扩展且高效的解决方案。
• 结果凸显了数据增强在提升端到端视觉控制系统的泛化能力方面所起的关键作用。