[论文解读] WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model

Tianyu Wang, Yifan Li+3 more|arXiv (Cornell University)|Aug 30, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出WALL-E，一种机器人系统，利用大型语言模型（LLM）如ChatGPT来理解多轮自然语言指令，通过视觉-语言对齐定位目标物体，并执行精确的6-DoF抓取。该框架通过LLM驱动的对话、视觉定位和机器人运动规划，在真实抓取任务中实现了超过84%的成功率，展示了服务机器人领域人机交互能力的显著提升。

ABSTRACT

Enabling robots to understand language instructions and react accordingly to visual perception has been a long-standing goal in the robotics research community. Achieving this goal requires cutting-edge advances in natural language processing, computer vision, and robotics engineering. Thus, this paper mainly investigates the potential of integrating the most recent Large Language Models (LLMs) and existing visual grounding and robotic grasping system to enhance the effectiveness of the human-robot interaction. We introduce the WALL-E (Embodied Robotic WAiter load lifting with Large Language model) as an example of this integration. The system utilizes the LLM of ChatGPT to summarize the preference object of the users as a target instruction via the multi-round interactive dialogue. The target instruction is then forwarded to a visual grounding system for object pose and size estimation, following which the robot grasps the object accordingly. We deploy this LLM-empowered system on the physical robot to provide a more user-friendly interface for the instruction-guided grasping task. The further experimental results on various real-world scenarios demonstrated the feasibility and efficacy of our proposed framework. See the project website at: https://star-uu-wang.github.io/WALL-E/

研究动机与目标

• 通过对话式交互，使机器人能够理解并执行长篇、多轮的自然语言指令。
• 通过视觉-语言对齐，解决高层语言指令与底层机器人动作之间的对齐挑战。
• 通过在对话式任务执行中引入上下文记忆和反馈回路，提升人机交互能力。
• 评估将现成LLM与视觉定位及机器人抓取系统集成以实现实世界部署的可行性。
• 识别在复杂、动态环境中LLM-机器人抓取流程中的主要故障模式，如记忆混淆和视觉定位错误。

提出的方法

• 利用ChatGPT作为对话引擎，通过带上下文记忆的多轮交互，将用户偏好总结为目标指令。
• 采用结合DINO、SAM和SAR-Net的9D视觉定位系统，从自然语言指令中预测6-DoF物体位姿和3D尺寸。
• 整合视觉-语言模型，将LLM输出映射到精确的机器人抓取位姿，实现目标物体的精确定位。
• 实施反馈回路，用户在每次抓取尝试后提供状态更新，使LLM能够优化后续指令。
• 使用字典格式的环境状态来约束LLM的推理过程，提升定位准确性。
• 基于预测的6-DoF位姿和尺寸执行运动规划，并通过碰撞检测和逆运动学检查确保可行性。

实验结果

研究问题

• RQ1 大型语言模型能否有效理解并总结复杂的多轮人类偏好，转化为可执行的机器人指令？
• RQ2 视觉-语言模型在基于LLM生成指令的杂乱环境中，能否实现高精度的物体定位？
• RQ3 LLM的记忆能力和上下文保留能力对长周期人机对话任务执行有何影响？
• RQ4 LLM-机器人抓取流程中的主要故障模式是什么，特别是与视觉定位和运动规划相关的？
• RQ5 LLM的集成在多大程度上提升了真实场景中基于指令的机器人抓取的成功率和可用性？

主要发现

• 在与单一用户的多轮对话中，LLM在指令定位任务中实现了91.11%的成功率，展现出强大的对话与记忆能力。
• 视觉定位系统在生成正确2D掩码和3D边界框方面实现了88.89%的成功率，支持在杂乱场景中进行精确抓取规划。
• 所有试验中的最终抓取成功率为68.89%，失败主要源于夹爪与物体碰撞以及逆运动学不可行。
• 故障分析表明，“目标丢失”错误——由记忆混淆或理解混淆引起——是导致指令错位的主要原因。
• 系统在处理自由形式语言输入和动态反馈方面表现出鲁棒性，但随着用户数量增加，性能因记忆限制而下降。
• 定性结果表明，9D-grounding-SAM模块即使在复杂、随机排列的工作空间中也能实现精确推理，但深度感知问题影响了对反光或透明材料的精度。