[论文解读] The Artificial Intelligence behind the winning entry to the 2019 AI Robotic Racing Competition

Christophe De Wagter, Federico Paredes-Vallés+2 more|arXiv (Cornell University)|Sep 30, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用 6

一句话总结

本文介绍了2019年AI机器人竞速（AIRR）锦标赛的获胜AI系统，该系统采用类人方法，在严格SWaP（尺寸、重量和功耗）约束下，通过实时门框检测（基于深度分割网络GateNet）、主动视觉实现最优相机控制、鲁棒状态估计以及风险感知控制，实现了9.2 m/s的自主无人机竞速速度。该系统超越了所有先前的自主参赛作品，标志着在缩小与人类飞行员性能差距方面迈出了重要一步。

ABSTRACT

Robotics is the next frontier in the progress of Artificial Intelligence (AI), as the real world in which robots operate represents an enormous, complex, continuous state space with inherent real-time requirements. One extreme challenge in robotics is currently formed by autonomous drone racing. Human drone racers can fly through complex tracks at speeds of up to 190 km/h. Achieving similar speeds with autonomous drones signifies tackling fundamental problems in AI under extreme restrictions in terms of resources. In this article, we present the winning solution of the first AI Robotic Racing (AIRR) Circuit, a competition consisting of four races in which all participating teams used the same drone, to which they had limited access. The core of our approach is inspired by how human pilots combine noisy observations of the race gates with their mental model of the drone's dynamics to achieve fast control. Our approach has a large focus on gate detection with an efficient deep neural segmentation network and active vision. Further, we make contributions to robust state estimation and risk-based control. This allowed us to reach speeds of ~9.2m/s in the last race, unrivaled by previous autonomous drone race competitions. Although our solution was the fastest and most robust, it still lost against one of the best human pilots, Gab707. The presented approach indicates a promising direction to close the gap with human drone pilots, forming an important step in bringing AI to the real world.

研究动机与目标

• 开发一种实时、机载的AI系统，能够在严格尺寸、重量和功耗（SWaP）约束下实现自主高速无人机竞速。
• 通过最小化对端到端仿真依赖，转而整合人工设计的控制与感知模块，弥合仿真与真实无人机飞行之间的现实差距。
• 在仅使用少量真实世界数据和有限硬件访问权限的前提下，实现通过复杂竞速赛道的鲁棒、高速导航。
• 通过模拟人类飞行员策略（如动态风险评估和主动视觉注意）缩小与顶尖人类飞行员的性能差距。
• 证明混合AI系统（结合深度学习与经典控制和估计技术）在真实机器人应用中可超越纯学习或纯仿真方法。

提出的方法

• 采用深度卷积神经网络（GateNet）对单目相机输入进行实时语义分割，以识别竞速门框，训练数据为2,336张人工标注的图像。
• 实施一种主动视觉策略，通过在分割图像中检测角点，动态调整无人机相机朝向，以最大化门框可见性和分割置信度。
• 采用基于模型的状态估计系统，结合机载IMU数据与学习到的动力学模型，预测无人机状态，并通过多传感器估计的alpha融合增强性能。
• 应用风险感知控制策略，根据门框检测和轨迹跟踪的预测不确定性调节飞行速度，从而在高速机动中最小化碰撞风险。
• 集成混合控制架构，其中低层姿态与位置控制经人工调优并在真实硬件上验证，而高层轨迹规划则依赖于学习到的门框检测与预测模型。
• 对整个系统进行优化，实现在轻量化机载硬件上的低延迟推理，确保感知-动作周期控制在10 ms以内。

实验结果

研究问题

• RQ1 在真实世界数据极少且硬件访问受限的条件下，自主无人机如何在复杂动态环境中实现高速飞行？
• RQ2 与纯学习或基于仿真的方法相比，类人策略（如主动视觉和风险感知控制）在自主无人机竞速中的性能提升程度如何？
• RQ3 混合AI系统（结合深度学习与经典控制和估计技术）在弥合机器人领域现实差距方面发挥何种作用？
• RQ4 在高速和安全约束的现实机器人任务中，依赖监督学习进行门框检测和人工设计控制律的系统，是否能超越端到端学习系统？
• RQ5 在动态条件下，主动视觉在提升实时无人机竞速中感知鲁棒性并降低不确定性方面的有效性如何？

主要发现

• 该系统在决赛中达到9.2 m/s的最高速度，是当时任何自主无人机竞速比赛中记录到的最高速度。
• GateNet模型在不同光照和遮挡条件下均表现出高精度的门框分割能力，确保在高速飞行中仍能可靠检测。
• 主动视觉策略通过将相机对准门框角点以最大化可见性，显著提升了门框检测的可靠性，减少了漏检。
• 风险感知控制策略通过根据门框检测和状态估计的不确定性动态调节速度，降低了碰撞概率，增强了系统鲁棒性。
• 混合架构（结合监督深度学习感知与人工设计的控制与估计）在比赛的时间与硬件约束下，比端到端学习方法更有效、更可靠。
• 尽管在速度和鲁棒性方面表现优异，该系统仍不敌顶尖人类飞行员（Gab707），凸显了在极端条件下实时决策与适应能力方面仍存在的差距。