[论文解读] Visual-based Safe Landing for UAVs in Populated Areas: Real-time Validation in Virtual Environments

Hector Tovanche-Picon, Javier Antonio Gonzalez-Trejo+2 more|arXiv (Cornell University)|Mar 25, 2022

Robotic Path Planning Algorithms参考文献 14被引用 4

一句话总结

本文提出了一种基于虚拟能源环境的实时框架，利用Unreal Engine和AirSim评估在人口密集城市区域中基于视觉的无人机自主着陆。比较了两种安全着陆区（SLZ）选择策略——最旧SLZ与最大SLZ——结果表明，最旧SLZ策略在动态移动人员场景中成功率高达86%，显著降低了受伤风险。

ABSTRACT

Safe autonomous landing for Unmanned Aerial Vehicles (UAVs) in populated areas is a crucial aspect for successful urban deployment, particularly in emergency landing situations. Nonetheless, validating autonomous landing in real scenarios is a challenging task involving a high risk of injuring people. In this work, we propose a framework for real-time safe and thorough evaluation of vision-based autonomous landing in populated scenarios, using photo-realistic virtual environments. We propose to use the Unreal graphics engine coupled with the AirSim plugin for drone's simulation, and evaluate autonomous landing strategies based on visual detection of Safe Landing Zones (SLZ) in populated scenarios. Then, we study two different criteria for selecting the "best" SLZ, and evaluate them during autonomous landing of a virtual drone in different scenarios and conditions, under different distributions of people in urban scenes, including moving people. We evaluate different metrics to quantify the performance of the landing strategies, establishing a baseline for comparison with future works in this challenging task, and analyze them through an important number of randomized iterations. The study suggests that the use of the autonomous landing algorithms considerably helps to prevent accidents involving humans, which may allow to unleash the full potential of drones in urban environments near to people.

研究动机与目标

• 开发一种安全、实时的评估框架，用于在人口密集城市区域中基于视觉的无人机自主着陆，因为真实世界测试存在高安全风险。
• 解决在有人附近确保安全紧急着陆的挑战，通过在具有动态人类存在的模拟城市环境中评估自主着陆策略。
• 在不同条件下比较不同安全着陆区（SLZ）选择标准——特别是最旧SLZ与最大SLZ——以识别最稳健的策略。
• 通过在随机动态场景下测量成功率、与人员的接近程度以及SLZ面积等多项目标，为未来研究建立定量基线。

提出的方法

• 使用Unreal Engine配合AirSim插件，生成逼真、物理准确的虚拟城市环境，用于无人机模拟。
• 采用轻量级深度神经网络（DNN）实现基于视觉的SLZ检测系统，用于在航拍图像中实时检测人群和着陆区。
• 采用两种SLZ选择策略：基于时间一致性的最旧可用SLZ选择，以及基于面积最大化的最大可用SLZ选择。
• 在静态和动态场景中进行超过900次随机模拟迭代，包括移动行人和恶劣天气条件。
• 使用成功率、最近人员平均距离、预警阈值（1m和1.5m）、IoU（交并比）和SLZ面积等指标量化性能表现。
• 在动态天气条件下（沙尘、薄雾、降雨、降雪）验证鲁棒性，以评估算法对视觉噪声和传感器退化的抗性。

实验结果

研究问题

• RQ1 在真实动态条件下，基于视觉的自主着陆系统在人口密集城市环境中多大程度上能有效降低人员受伤风险？
• RQ2 在有移动行人的场景中，SLZ选择标准——最旧SLZ或最大SLZ——哪种能带来更高的成功率和更好的安全裕度？
• RQ3 移动人员（占场景总人口的10%和20%）的存在对自主着陆策略的性能有何影响？
• RQ4 所提出的框架在雨、雪、雾等恶劣天气引起的视觉退化条件下，其鲁棒性如何？
• RQ5 在动态环境中，SLZ大小与安全性的权衡关系如何？是否可通过混合代价函数实现性能优化？

主要发现

• 在静态场景中，最旧SLZ策略的成功率达到97%，显著优于随机着陆（59%），表现出极强的鲁棒性。
• 在20%移动人员的动态场景中，最旧SLZ策略维持84%的成功率，而最大SLZ策略下降至76%，表明其对动态人类移动具有更强的适应能力。
• 在20%移动人员场景中，最旧SLZ策略将最近人员的平均距离降低至1.58m，表明其能更有效地避开高密度人群区域。
• 最大SLZ策略提供的着陆区更大（在10%移动人员场景中平均面积为9.079 m²），而最旧SLZ策略的平均面积为4.5996 m²，但后者在动态环境中风险更高。
• 该框架在动态天气条件下表现出鲁棒性，最旧SLZ策略在恶劣天气下仍保持86%的成功率，表明其对视觉噪声具有较强抗性。
• 观察到权衡关系：更大的SLZ提供更充裕空间，但在动态场景中安全性较低，提示结合大小与时间稳定性的多目标代价函数可能更优，以实现安全与性能的协同优化。