[论文解读] UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Yonglin Tian, Fei Lin+12 more|arXiv (Cornell University)|Jan 4, 2025

Robotic Path Planning Algorithms被引用 3

一句话总结

本综述评估无人机系统与基础模型（FMs），梳理 LLM/UAV 集成，编目多模态无人机数据集，并提出具有自主感知、记忆、推理与工具使用的代理性无人机路线图与架构。

ABSTRACT

Low-altitude mobility, exemplified by unmanned aerial vehicles (UAVs), has introduced transformative advancements across various domains, like transportation, logistics, and agriculture. Leveraging flexible perspectives and rapid maneuverability, UAVs extend traditional systems' perception and action capabilities, garnering widespread attention from academia and industry. However, current UAV operations primarily depend on human control, with only limited autonomy in simple scenarios, and lack the intelligence and adaptability needed for more complex environments and tasks. The emergence of large language models (LLMs) demonstrates remarkable problem-solving and generalization capabilities, offering a promising pathway for advancing UAV intelligence. This paper explores the integration of LLMs and UAVs, beginning with an overview of UAV systems' fundamental components and functionalities, followed by an overview of the state-of-the-art in LLM technology. Subsequently, it systematically highlights the multimodal data resources available for UAVs, which provide critical support for training and evaluation. Furthermore, it categorizes and analyzes key tasks and application scenarios where UAVs and LLMs converge. Finally, a reference roadmap towards agentic UAVs is proposed, aiming to enable UAVs to achieve agentic intelligence through autonomous perception, memory, reasoning, and tool utilization. Related resources are available at https://github.com/Hub-Tian/UAVs_Meet_LLMs.

研究动机与目标

• 提供关于无人机系统及其功能模块的全面背景。
• 总结与无人机相关的最先进基础模型与多模态数据资源。
• 系统性评审现有的 LLM/UAV 集成在导航、感知与规划等方面的研究。
• 提出面向具备自主感知、记忆、推理及工具使用能力的代理性无人机的设计框架与路线图。

提出的方法

• 对无人机系统、LLMs/VLMs/VFMs，以及跨领域集成进行系统文献综述。
• 为无人机功能模块、配置与编队能力建立分类体系。
• 整理并讨论公开可用的用于训练与评估的无人机数据集。
• 对 LLM/UAV 集成方法、应用与挑战进行批判性分析。
• 提出具备感知、记忆、推理与工具使用能力的代理性无人机的架构框架。

实验结果

研究问题

• RQ1 当代无人机系统的基本组件与能力及其典型数据资源是什么？
• RQ2 当前用于无人机相关任务（导航、感知、规划）的 LLM 与其他基础模型的现状如何？
• RQ3 有哪些框架、技术与数据集用于将 LLM 与无人机集成，仍存在哪些挑战？
• RQ4 为实现具备自主感知、记忆、推理与工具使用能力的代理性无人机，需要哪些架构原则与能力？

主要发现

• 本文提供了无人机系统组件与基础模型的全面背景。
• 它编目了可公开获取的多模态数据资源，支持对智能无人机系统的训练与评估。
• 它回顾了现有关于导航、感知与规划的 LLM/UAV 集成研究，识别出关键方法与挑战。
• 它提出了代理性无人机的设计框架，概述了具备自主感知、记忆、推理与工具使用能力的架构与能力。
• 该工作为利用 LLM 能力推动无人机自治提供参考，并指明未来研究方向。