[论文解读] Scalable Multi-Robot Collaboration with Large Language Models: Centralized or Decentralized Systems?

Yongchao Chen, Jacob Arkin+3 more|arXiv (Cornell University)|Sep 27, 2023

Natural Language Processing Techniques被引用 7

一句话总结

本文提出并评估了四种基于大语言模型（LLM）的框架——集中式、去中心化以及两种混合变体——用于可扩展的多机器人任务规划。研究发现，混合框架，特别是采用本地反馈回中心规划器的HMAS-2，在二维和三维多机器人环境中均实现了更高的任务成功率和更好的可扩展性，优于纯集中式或去中心化方法。

ABSTRACT

A flurry of recent work has demonstrated that pre-trained large language models (LLMs) can be effective task planners for a variety of single-robot tasks. The planning performance of LLMs is significantly improved via prompting techniques, such as in-context learning or re-prompting with state feedback, placing new importance on the token budget for the context window. An under-explored but natural next direction is to investigate LLMs as multi-robot task planners. However, long-horizon, heterogeneous multi-robot planning introduces new challenges of coordination while also pushing up against the limits of context window length. It is therefore critical to find token-efficient LLM planning frameworks that are also able to reason about the complexities of multi-robot coordination. In this work, we compare the task success rate and token efficiency of four multi-agent communication frameworks (centralized, decentralized, and two hybrid) as applied to four coordination-dependent multi-agent 2D task scenarios for increasing numbers of agents. We find that a hybrid framework achieves better task success rates across all four tasks and scales better to more agents. We further demonstrate the hybrid frameworks in 3D simulations where the vision-to-text problem and dynamical errors are considered. See our project website https://yongchao98.github.io/MIT-REALM-Multi-Robot/ for prompts, videos, and code.

研究动机与目标

• 解决随着机器人数量和任务时间跨度增加时，基于大语言模型的多机器人规划在可扩展性方面的局限性。
• 探究不同的通信与规划架构（集中式、去中心式和混合式）对任务成功率和令牌效率的影响。
• 评估上下文长度和历史对话对多智能体协调中大语言模型推理性能的影响。
• 在二维模拟仓库任务和包含视觉到文本感知及动态执行错误的三维操作任务中，证明混合框架的有效性。
• 提供一种在机器人数量扩展时仍能保持性能的、高效的令牌使用且可泛化的规划框架。

提出的方法

• 提出四种框架：DMAS（去中心化多智能体系统）、CMAS（集中式多智能体系统）、HMAS-1（通过中心计划预热的去中心化）和HMAS-2（通过机器人专属大语言模型提供本地反馈的集中式）。
• 通过LLM智能体之间的迭代式、轮换式对话，协作确定每个规划步骤中所有机器人的下一步动作。
• 引入截断提示策略，仅保留先前轮次的状态-动作历史，以减少上下文长度并提升令牌效率。
• 使用手动定义的函数将环境观测结果和机器人能力映射为自然语言提示，供大语言模型输入。
• 通过预定义的动作映射，将大语言模型生成的文本输出转换为可执行的机器人动作。
• 在二维仓库启发式任务和包含视觉到文本感知（ViLD）及动态执行错误的三维PyBullet仿真环境中评估各框架。

Figure 1: Simplified prompt example of the HMAS-1 local agent. The acquired ’Response1’ acts as the initial plan, or otherwise sent to the next local agent for further discussion.

实验结果

研究问题

• RQ1 在机器人数量不断增加的情况下，集中式、去中心式和混合式基于大语言模型的规划框架在任务成功率和可扩展性方面如何比较？
• RQ2 上下文长度和历史对话对多机器人协调中大语言模型推理性能有何影响？
• RQ3 结合中心规划与本地大语言模型反馈的混合框架，是否能相比纯集中式或去中心化系统，同时提升成功率和可扩展性？
• RQ4 在三维环境中，视觉到文本感知和动态错误对基于大语言模型的规划框架鲁棒性有何影响？
• RQ5 截断提示策略在不降低规划性能的前提下，能在多大程度上提升令牌效率？

主要发现

• 采用中心大语言模型并结合机器人专属大语言模型本地反馈的混合框架HMAS-2，在包含三台和六台机器人的三维仿真中均实现了100%的任务成功率。
• 在六台机器人的三维仿真中，CMAS平均需要1.39个归一化动作步数，而HMAS-2仅需1.03个，表明其规划效率更高。
• 在六台机器人场景下，HMAS-2使用了2.65个归一化API调用和1.31个归一化令牌，尽管复杂度更高，但相比CMAS（分别为1.0和1.18）展现出更好的令牌效率。
• 混合框架HMAS-1在全部四个二维任务中均优于纯去中心化框架DMAS，且在机器人数量增加时表现出更强的可扩展性。
• 所有框架在三维仿真中均对动态错误表现出鲁棒性，迭代式规划机制在动作失败时能有效实现重规划。
• 截断提示策略有效减少了上下文长度，且未降低性能，支持在令牌预算限制下实现可扩展性。

Figure 2: Simplified prompt example of the HMAS-2 central agent. The generated ’Response1’ is sent to local agents for feedback. Once the central-local iteration terminates, the output plan is checked for syntactic correctness.