[论文解读] Robust Autonomous Landing of UAV in Non-Cooperative Environments based on Dynamic Time Camera-LiDAR Fusion

Lyujie Chen, Xiaming Yuan+3 more|arXiv (Cornell University)|Nov 27, 2020

Robotics and Sensor-Based Localization参考文献 34被引用 9

一句话总结

本文提出了一种基于低成本LiDAR与双目相机的动态时间深度补全方法，用于在非合作环境中实现无人机的鲁棒自主着陆。通过利用双目视觉的自评估机制，动态调整LiDAR积分时间，系统确保了精确的深度图，从而在未知环境中也能可靠检测平坦且安全的着陆区域，未见场景中的平均LiDAR累积时间为0.7秒。

ABSTRACT

Selecting safe landing sites in non-cooperative environments is a key step towards the full autonomy of UAVs. However, the existing methods have the common problems of poor generalization ability and robustness. Their performance in unknown environments is significantly degraded and the error cannot be self-detected and corrected. In this paper, we construct a UAV system equipped with low-cost LiDAR and binocular cameras to realize autonomous landing in non-cooperative environments by detecting the flat and safe ground area. Taking advantage of the non-repetitive scanning and high FOV coverage characteristics of LiDAR, we come up with a dynamic time depth completion algorithm. In conjunction with the proposed self-evaluation method of the depth map, our model can dynamically select the LiDAR accumulation time at the inference phase to ensure an accurate prediction result. Based on the depth map, the high-level terrain information such as slope, roughness, and the size of the safe area are derived. We have conducted extensive autonomous landing experiments in a variety of familiar or completely unknown environments, verifying that our model can adaptively balance the accuracy and speed, and the UAV can robustly select a safe landing site.

研究动机与目标

• 在无预定义着陆标记或通信的非合作环境中，实现无人机的鲁棒自主着陆。
• 解决现有基于深度学习的空中场景深度估计方法在泛化能力差和缺乏误差自检测方面的不足。
• 开发一种实时、低成本的感知系统，结合双目相机与LiDAR，实现精确的地形评估。
• 通过基于实时深度质量自评估的LiDAR积分时间自适应调整，动态平衡深度精度与推理速度。

提出的方法

• 使用来自双目图像的联合自监督信号与LiDAR提供的稀疏真实深度作为监督信号，训练一个基于ResNet-18主干网络的动态时间深度补全网络，并采用多任务损失（深度、边缘、光度、平滑性）。
• 系统采用混合训练策略，动态选择稀疏深度输入的密度，以提升模型在多样化环境中的泛化能力。
• 自评估机制利用双目图像的一致性（SSIM与光度损失）在推理过程中评估预测深度图的质量。
• 基于自评估得分，实时自适应选择LiDAR积分时间，以平衡精度与速度。
• 对深度图进行透视变换及形态学操作（腐蚀/膨胀）处理，以提取坡度、粗糙度和安全区域大小等地形特征。
• 系统在NVIDIA Jetson TX2上实现端到端实时推理流水线，平均推理时间为33ms，适用于无人机部署。

实验结果

研究问题

• RQ1 如何在完全未知、非合作环境中，实现无人机系统对安全着陆区域的鲁棒检测，而无需预先地图或着陆标记？
• RQ2 动态时间深度补全策略是否能提升在未见空中环境中深度估计的泛化能力与可靠性？
• RQ3 系统如何实现实时自评估深度预测质量，以支持自适应LiDAR积分时间的选择？
• RQ4 低成本双目相机-LiDAR系统在多大程度上可实现面向自主着陆的实时、精确深度估计？
• RQ5 在动态LiDAR累积过程中，深度精度与推理速度之间的权衡如何？如何实现优化？

主要发现

• 所提出的动态时间深度补全方法在深度估计精度方面取得了显著提升，随着LiDAR积分时间的增加，RMSE与REL指标均持续下降。
• 在NVIDIA Jetson TX2上，平均推理时间仅为33ms，满足无人机应用的实时性要求。
• 在未知环境中，系统平均需0.7秒的LiDAR累积时间即可实现可靠的深度预测，证明了精度与速度的自适应平衡能力。
• 自评估机制成功检测并修正了低质量的深度预测，显著提升了在复杂场景下的鲁棒性。
• 无人机在多种真实世界环境中成功完成自主着陆，包括熟悉与完全未知的场景，着陆轨迹平稳、稳定，且悬停时间极短。
• 图6与图7的视觉结果证实，该系统具备检测平坦安全着陆区域的能力，并能实现稳定、受控的下降过程。