[论文解读] Prompt a Robot to Walk with Large Language Models

Yen‐Jen Wang, Bike Zhang+2 more|arXiv (Cornell University)|Sep 18, 2023

Topic Modeling被引用 7

一句话总结

本文提出了一种新颖的框架，利用少量示例的文本提示与GPT-4直接生成机器人行走的低层控制指令，无需针对任务进行微调。该方法使大型语言模型（LLMs）能够在高维机器人系统中充当反馈控制器，在模拟环境中成功实现多种机器人和地形上的动态行走，其归一化行走时间为0.721，复杂地形上的成功率为0.6%。

ABSTRACT

Large language models (LLMs) pre-trained on vast internet-scale data have showcased remarkable capabilities across diverse domains. Recently, there has been escalating interest in deploying LLMs for robotics, aiming to harness the power of foundation models in real-world settings. However, this approach faces significant challenges, particularly in grounding these models in the physical world and in generating dynamic robot motions. To address these issues, we introduce a novel paradigm in which we use few-shot prompts collected from the physical environment, enabling the LLM to autoregressively generate low-level control commands for robots without task-specific fine-tuning. Experiments across various robots and environments validate that our method can effectively prompt a robot to walk. We thus illustrate how LLMs can proficiently function as low-level feedback controllers for dynamic motion control even in high-dimensional robotic systems. The project website and source code can be found at: https://prompt2walk.github.io/ .

研究动机与目标

• 探究大型语言模型（LLMs）是否可在无需任务特定微调的情况下，作为动态机器人行走的低层反馈控制器。
• 通过从真实机器人轨迹中收集的少量示例提示，解决将LLMs与物理机器人控制相融合的挑战。
• 探究LLMs是否可通过上下文学习而非模仿或强化学习，生成稳定且动态的行走行为。
• 在多种机器人、地形和模拟环境中验证该框架的性能。

提出的方法

• 该方法采用少量示例提示范式，结合GPT-4，提示内容包括描述性提示和观测-动作历史序列。
• 控制指令以归一化的目标关节位置生成，由200 Hz的PD控制器跟踪，而LLM以10 Hz的频率进行推理。
• 在每次推理循环后，通过添加新的观测和动作动态更新提示，以维持上下文。
• 该框架通过预训练的强化学习策略数据初始化，以在提示中提供真实的示范。
• 精心设计文本提示，包含任务描述、环境观测和动作序列，以引导LLM的上下文学习。
• 该方法避免微调，转而依赖LLM的上下文学习能力，以泛化至新的行走任务。

Figure 2 : LLM Policy Overview. We first collect data from an existing controller to initialize the LLM policy. Then, we design a text prompt including a description prompt and an observation and action prompt. The LLM outputs normalized target joint positions that are then tracked by a PD controlle

实验结果

研究问题

• RQ1 LLMs是否可在无需任何任务特定微调的情况下，作为动态机器人行走的低层反馈控制器？
• RQ2 使用少量示例提示的上下文学习在多大程度上能有效帮助LLMs生成稳定且动态的行走行为？
• RQ3 提示设计（包括描述和观测-动作序列）在多大程度上影响机器人行走的成功率？
• RQ4 所提出的提示框架是否可在不同机器人平台和地形上实现泛化？

主要发现

• 该方法在不平坦地形上实现了0.721的归一化行走时间（NWT），表明其具备有效的长期行走性能。
• 在最具挑战性的地形（E5）上，成功率为0.6%，尽管数值较低，但仍证明其在复杂环境中的可行性。
• LLM策略生成的关节轨迹呈现出规律且符合生物力学的模式，与强化学习基线方法显著不同。
• 描述性提示对成功至关重要，因为当仅提供数值观测和动作时，LLMs无法实现行走。
• 该框架在多个机器人（A1和ANYmal）、模拟器（MuJoCo和Isaac Gym）以及地形间均实现了泛化，验证了其跨环境鲁棒性。
• 提示设计较为脆弱——微小改动会显著影响性能——凸显了在基于LLM的控制中，更优提示工程的必要性。

Figure 3 : Text Prompt. We design a text prompt that includes two parts: a description prompt and an observation and action prompt. In the description prompt, we have the following subparts: $P_{TD}$ : task description, $P_{IO}$ : meaning of input and output space, $P_{JO}$ : joint order, $P_{CP}$ :