[论文解读] RobotGPT: Robot Manipulation Learning from ChatGPT

Yixiang Jin, Dingzhe Li+6 more|arXiv (Cornell University)|Dec 3, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

RobotGPT 提出了一种稳定可靠的框架，利用 ChatGPT 的问题解决能力来训练专用机器人代理执行操作任务，避免了直接执行代码带来的不稳定性。通过采用具备自我修正和评估功能的多智能体提示系统，RobotGPT 实现了 91.5% 的任务成功率——相较于直接使用 ChatGPT 时的 38.5%，显著提升了可靠性与实际部署潜力。

ABSTRACT

We present RobotGPT, an innovative decision framework for robotic manipulation that prioritizes stability and safety. The execution code generated by ChatGPT cannot guarantee the stability and safety of the system. ChatGPT may provide different answers for the same task, leading to unpredictability. This instability prevents the direct integration of ChatGPT into the robot manipulation loop. Although setting the temperature to 0 can generate more consistent outputs, it may cause ChatGPT to lose diversity and creativity. Our objective is to leverage ChatGPT's problem-solving capabilities in robot manipulation and train a reliable agent. The framework includes an effective prompt structure and a robust learning model. Additionally, we introduce a metric for measuring task difficulty to evaluate ChatGPT's performance in robot manipulation. Furthermore, we evaluate RobotGPT in both simulation and real-world environments. Compared to directly using ChatGPT to generate code, our framework significantly improves task success rates, with an average increase from 38.5% to 91.5%. Therefore, training a RobotGPT by utilizing ChatGPT as an expert is a more stable approach compared to directly using ChatGPT as a task planner.

研究动机与目标

• 解决在机器人操作系统中直接使用 ChatGPT 生成代码所导致的不稳定性和不可预测性问题。
• 通过训练一个学习 ChatGPT 规划输出而非直接执行的专用代理，提升系统可靠性。
• 设计有效的提示结构，集成自我修正与评估模块，以增强任务理解与执行准确性。
• 引入任务难度度量标准，分析大语言模型在机器人操作中的性能边界。
• 在仿真环境与真实世界环境中（包括开放式任务）验证该框架的有效性。

提出的方法

• 设计三角色系统：决策机器人（生成代码）、评估机器人（通过微调模型验证代码）、修正机器人（诊断并修复错误）。
• 实施闭环执行流程，逐行测试代码，并根据运行时反馈迭代修正。
• 采用自我修正机制，识别失败原因并迭代改进代码，直至通过评估。
• 利用成功生成的 ChatGPT 代码序列所生成的演示数据，训练出稳健且可部署的代理。
• 基于执行步骤数与成功率，集成任务难度度量标准，评估大语言模型在不同任务复杂度下的能力表现。
• 在真实世界机器人环境中部署训练好的 RobotGPT 代理，以验证其泛化能力与稳定性。

实验结果

研究问题

• RQ1 能否设计一种框架，以稳定化并提升直接使用 ChatGPT 生成代码在机器人操作中的可靠性？
• RQ2 与直接使用 ChatGPT 生成代码相比，学习其输出的训练代理在性能上表现如何？
• RQ3 哪些提示工程策略能增强大语言模型对机器人任务与环境的理解？
• RQ4 任务复杂度在多大程度上影响基于大语言模型规划在机器人中的成功率？
• RQ5 大语言模型驱动的代理是否能在开放式机器人任务执行中超越人类程序员？

主要发现

• RobotGPT 在仿真环境中实现了 91.5% 的任务成功率，显著高于直接使用 ChatGPT 时的 38.5%。
• 该框架通过迭代式代码修正与验证，减少了因定位精度误差导致的任务失败。
• 在开放式任务（如整理房间、拼写单词）中，RobotGPT 表现优于人类参与者，成功生成了 9 个字母的单词（'backfield'），而人类最佳成绩为 7 个字母。
• 在 AB 测试中，RobotGPT 的代码质量（0.762 vs. 0.70）更高，耗时更短（221.8 秒 vs. 554.9 秒），优于经验丰富的程序员手工编码。
• 任务难度度量显示，随着任务复杂度提升，成功率下降，但 RobotGPT 在所有复杂度层级均保持高水平性能。
• 该系统成功部署并运行于真实世界机器人环境中，证实其在仿真之外的实际可行性。