[论文解读] Swarm-GPT: Combining Large Language Models with Safe Motion Planning for Robot Choreography Design

Aoran Jiao, Tanmay P. Patel+7 more|arXiv (Cornell University)|Dec 2, 2023

Robotic Path Planning Algorithms被引用 5

一句话总结

Swarm-GPT 是一种新颖的系统，将大型语言模型（LLMs）与基于模型的安全运动规划相结合，使非专家用户能够通过自然语言指令生成同步、无碰撞的无人机编队编排。通过提示 LLM 从音频特征生成航点，并利用分布式轨迹规划器进行优化，该系统实现了实时、安全且富有表现力的无人机表演，其模拟到现实的均方根误差（RMSE）平均为 28.7 毫米。

ABSTRACT

This paper presents Swarm-GPT, a system that integrates large language models (LLMs) with safe swarm motion planning - offering an automated and novel approach to deployable drone swarm choreography. Swarm-GPT enables users to automatically generate synchronized drone performances through natural language instructions. With an emphasis on safety and creativity, Swarm-GPT addresses a critical gap in the field of drone choreography by integrating the creative power of generative models with the effectiveness and safety of model-based planning algorithms. This goal is achieved by prompting the LLM to generate a unique set of waypoints based on extracted audio data. A trajectory planner processes these waypoints to guarantee collision-free and feasible motion. Results can be viewed in simulation prior to execution and modified through dynamic re-prompting. Sim-to-real transfer experiments demonstrate Swarm-GPT's ability to accurately replicate simulated drone trajectories, with a mean sim-to-real root mean square error (RMSE) of 28.7 mm. To date, Swarm-GPT has been successfully showcased at three live events, exemplifying safe real-world deployment of pre-trained models.

研究动机与目标

• 使非专家用户能够通过自然语言指令设计复杂且同步的无人机编队表演。
• 弥合基于高层语言的编排生成与底层安全机器人控制之间的差距。
• 通过集成的安全过滤机制，确保无碰撞、运动学可行且与音乐同步的无人机轨迹。
• 在真实世界的无人机编队实验中，展示 LLM 生成轨迹的可靠模拟到现实迁移能力。

提出的方法

• 该系统使用大型语言模型（LLM）基于从音乐中提取的音频特征生成独特的无人机航点。
• 一个分布式、基于模型的轨迹规划器（AM-Swarm）处理 LLM 生成的航点，以确保运动学可行性、避碰和轨迹平滑性。
• 规划器使用包含目标项和光滑性项的代价函数，通过在位置、速度、加速度及无人机间距离约束下的交替优化进行求解。
• 约束条件包括位置、速度和加速度的上下限，以及用于实现渐进且保守避碰的障碍函数。
• 在仿真和控制频率下对轨迹进行重采样，以实现精确的实时部署。
• 通过 gym-pybullet-drones 仿真环境进行模拟到现实的验证，以确认轨迹保真度。

实验结果

研究问题

• RQ1 大型语言模型能否在无需专家干预的情况下，有效生成富有表现力且与音乐同步的无人机编队编排？
• RQ2 如何将 LLM 生成的轨迹安全地转换为现实世界中无人机编队可行且无碰撞的运动？
• RQ3 当使用基于模型的安全过滤器部署 LLM 驱动的编排时，能达到何种程度的模拟到现实精度？
• RQ4 该系统能否支持在表演过程中动态重新提示和实时修改编排？

主要发现

• Swarm-GPT 在测试轨迹上实现了平均 28.7 毫米的模拟到现实均方根误差（RMSE），证明了其在真实世界部署中的高保真度。
• 该系统成功将 6 架和 9 架无人机编队与音乐节拍同步，生成了在仿真和真实世界实验中均具有视觉表现力和动态性的编队形态。
• 在多个节拍间隔内，编队同步性通过视觉得到确认，颜色渐变表示时间推进，且能清晰区分不同无人机的身份。
• 该系统已在三次现场活动中成功部署，验证了其鲁棒性和真实世界适用性。
• LLM 与安全感知运动规划器的集成实现了安全、可扩展且直观的编排生成，无需手动调参。
• 使用 γ = 0.5 的障碍函数实现了保守且渐进的避碰，提升了动态机动过程中的安全裕度。