[论文解读] TypeFly: Flying Drones with Large Language Model

Guojun Chen, Xiaojing Yu+2 more|arXiv (Cornell University)|Dec 8, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

TypeFly 是一个端到端系统，通过结合本地边缘视觉处理、自定义轻量级编程语言（MiniSpec）以及具备动态查询功能的 LLM 基础规划，使无人机能够执行由自然语言描述的复杂任务。该系统将 LLM 服务成本和任务执行时间减少两倍以上，同时通过高级提示工程和运行时 LLM 查询功能显著提升复杂无人机任务的成功率。

ABSTRACT

Recent advancements in robot control using large language models (LLMs) have demonstrated significant potential, primarily due to LLMs' capabilities to understand natural language commands and generate executable plans in various languages. However, in real-time and interactive applications involving mobile robots, particularly drones, the sequential token generation process inherent to LLMs introduces substantial latency, i.e. response time, in control plan generation. In this paper, we present a system called ChatFly that tackles this problem using a combination of a novel programming language called MiniSpec and its runtime to reduce the plan generation time and drone response time. That is, instead of asking an LLM to write a program (robotic plan) in the popular but verbose Python, ChatFly gets it to do it in MiniSpec specially designed for token efficiency and stream interpretation. Using a set of challenging drone tasks, we show that design choices made by ChatFly can reduce up to 62% response time and provide a more consistent user experience, enabling responsive and intelligent LLM-based drone control with efficient completion.

研究动机与目标

• 实现无需依赖云端图像传输的无人机端到端自然语言控制。
• 通过最小化 token 输出并将其视觉处理卸载到边缘设备，降低无人机任务规划中 LLM 推理的成本和延迟。
• 通过新颖的查询机制和结构化提示工程，提高复杂无人机任务的可靠性和成功率。
• 通过避免直接执行 LLM 生成的代码，转而使用经过验证的最小领域特定语言（MiniSpec），增强系统安全性。
• 解决在私人或动态环境中部署 LLM 实现实时光控无人机时面临的隐私、效率和安全性挑战。

提出的方法

• TypeFly 使用本地边缘服务器将无人机捕获的图像处理为自然语言场景描述，确保隐私并减少带宽占用。
• 采用一种名为 MiniSpec 的自定义极简编程语言，生成紧凑、高效的计划，兼具人类可读性和机器可解析性。
• 系统在 MiniSpec 中引入了“查询”功能，允许无人机控制器在任务执行过程中调用远程 LLM 实现动态决策。
• 采用提示工程技术，包括少样本示例和结构化模板，引导 LLM 生成正确且可执行的 MiniSpec 计划。
• 通过 MiniSpec 解释器验证并执行计划，防止不安全或格式错误的代码被执行。
• 系统集成基于 YOLO 的目标检测技术，实现实时光景理解，并通过视觉编码器的灵活性动态适应环境变化。

实验结果

研究问题

• RQ1 如何在保护用户隐私并最小化向云端传输数据的前提下，实现无人机的自然语言控制？
• RQ2 在编程语言设计和提示工程方面，哪些选择能显著降低无人机任务规划中 LLM 推理的成本和延迟？
• RQ3 轻量级领域特定语言（MiniSpec）在多大程度上能提升 LLM 生成的无人机控制计划的可靠性和安全性？
• RQ4 ‘查询’功能在实现动态、运行时 LLM 咨询方面有多有效，能否提升在复杂多变环境中任务的成功率？
• RQ5 在实时、关键任务导向的无人机应用中，使用指南与使用示例进行提示工程，其权衡关系如何？

主要发现

• 通过优化 token 使用和 MiniSpec 中高效的计划生成，TypeFly 将 LLM 服务成本和任务执行时间均减少两倍以上。
• 在 MiniSpec 计划中引入“查询”功能，显著提高了复杂任务的成功率，实现了运行时 LLM 咨询。
• 使用少样本示例的提示工程至关重要——若移除示例，系统将在所有基准任务上失败，凸显其对可靠 LLM 输出的必要性。
• MiniSpec 解释器成功验证并阻止了格式错误或不安全代码的执行，提升了系统安全性和可靠性。
• 该系统表明，基于边缘的视觉处理和本地规划在恶劣视觉条件下仍能保持高性能，尽管 YOLO 在光照不足时准确性有所下降。
• 采用‘信任但验证’策略——使用形式化解释器验证 LLM 生成的代码——在缓解不可控代码执行风险方面被证明是有效的。