[论文解读] Vision-Based Autonomous UAV Navigation and Landing for Urban Search and Rescue

Mayank Mittal, Rohit Mohan+2 more|arXiv (Cornell University)|Jun 4, 2019

Robotics and Sensor-Based Localization参考文献 22被引用 13

一句话总结

本文提出了一种基于视觉的自主无人机系统，用于城市搜救任务，通过一种新颖的基于成本图的着陆点检测算法，实现在瓦砾堆上的安全着陆。该系统集成了实时状态估计、三维建图和最小 jerk 轨迹规划，在嵌入式硬件上实现了在线运行，每帧的总计算时间为 173.4±59.2 ms，并提出了一个包含 120 万张图像的合成数据集，提供真实深度、法向量、语义信息和位姿标注。

ABSTRACT

Unmanned Aerial Vehicles (UAVs) equipped with bioradars are a life-saving technology that can enable identification of survivors under collapsed buildings in the aftermath of natural disasters such as earthquakes or gas explosions. However, these UAVs have to be able to autonomously navigate in disaster struck environments and land on debris piles in order to accurately locate the survivors. This problem is extremely challenging as pre-existing maps cannot be leveraged for navigation due to structural changes that may have occurred. Furthermore, existing landing site detection algorithms are not suitable to identify safe landing regions on debris piles. In this work, we present a computationally efficient system for autonomous UAV navigation and landing that does not require any prior knowledge about the environment. We propose a novel landing site detection algorithm that computes costmaps based on several hazard factors including terrain flatness, steepness, depth accuracy, and energy consumption information. We also introduce a first-of-a-kind synthetic dataset of over 1.2 million images of collapsed buildings with groundtruth depth, surface normals, semantics and camera pose information. We demonstrate the efficacy of our system using experiments from a city scale hyperrealistic simulation environment and in real-world scenarios with collapsed buildings.

研究动机与目标

• 实现无人机在无先验地图或基础设施的灾后环境中自主导航与安全着陆。
• 解决在无序且不稳定的瓦砾堆上检测安全着陆点的挑战，传统标记或基于平面度的方法在此类场景中失效。
• 开发一种计算高效的在线系统，可在嵌入式硬件上运行，以实现实时操作，支持时间紧迫的 USAR 任务。
• 通过使无人机能够在废墟上稳定着陆，支持生物雷达技术的幸存者探测，以实现精确的信号采集。
• 创建首个包含 120 万张图像的合成数据集，提供真实深度、法向量、语义信息和相机位姿，用于灾难模拟。

提出的方法

• 该系统采用基于 TSDF 的三维重建算法，实时构建环境的纹理化、密集三维地图。
• 一种新型的着陆点检测算法计算四种成本图：深度精度、地形平坦度、陡峭度和能耗，将这些图融合为最终决策图。
• 通过在最终成本图上进行阈值处理，检测密集的候选着陆点，并利用 k-d 树过滤重复点。
• 基于聚类的全局优化方法将局部候选着陆点聚合成安全着陆区域，综合考虑空间一致性和危险因素。
• 最小 jerk 轨迹规划器生成平滑且具备动态感知能力的路径，引导无人机前往选定的着陆点，同时避开障碍物。
• 整个处理流程，包括状态估计、建图和着陆检测，均在嵌入式 Intel Core i7-8750H CPU 上在线运行，每帧耗时 173.4±59.2 ms。

实验结果

研究问题

• RQ1 无人机如何在无先验地图或标记的情况下，自主检测无序且不稳定的瓦砾堆上的安全着陆点？
• RQ2 哪些视觉危险因素组合（平坦度、陡峭度、深度置信度、能耗）能够实现在灾后环境中的可靠着陆点检测？
• RQ3 基于视觉的系统是否能通过实时三维重建与在线着陆检测，在低功耗嵌入式硬件上高效部署，以支持 USAR 任务？
• RQ4 生物雷达传感器的集成如何影响无人机在倒塌结构中的着陆与导航策略？
• RQ5 包含 120 万张图像、真实深度、法向量、语义信息和位姿的合成数据集，在多大程度上能提升自主无人机系统在 USAR 领域的训练与评估效果？

主要发现

• 着陆点检测系统在嵌入式 Intel Core i7-8750H CPU 上每帧的总计算时间为 173.4±59.2 ms，实现了实时在线运行。
• 平坦度成本图计算的方差较高（91.7±38.8 ms），这是由于依赖于图像内容的 Canny 边缘图的距离变换所致。
• 用于全局着陆点选择的聚类步骤耗时 125.5±100.3 ms，且随着候选点数量增加而趋于稳定，确保了性能的一致性。
• 该系统在超真实感城市规模仿真环境和真实倒塌建筑场景中，成功实现了自主导航与着陆。
• 所提出的合成数据集包含超过 120 万张 RGB 图像，提供真实深度、表面法向量、语义分割和相机位姿，支持鲁棒的训练与评估。
• 集成生物雷达兼容的着陆能力使精确的幸存者探测成为可能，因为无人机现在可以稳定地在废墟上着陆以进行信号采集。