[论文解读] ThinkGrasp: A Vision-Language System for Strategic Part Grasping in Clutter

Yaoyao Qian, Xupeng Zhu+6 more|arXiv (Cornell University)|Jul 16, 2024

Natural Language Processing Techniques被引用 4

一句话总结

ThinkGrasp 是一种视觉语言机器人抓取系统，利用 GPT-4o 的推理能力在高度杂乱的环境中规划战略性、多步骤的抓取操作。通过结合语言引导的物体优先排序、遮挡处理以及基于 LangSAM 和 VLPart 的分割技术，该系统在仿真环境中实现了 98.0% 的成功率，在真实世界任务中实现了 75–90% 的成功率，且步骤极少，显著优于以往方法在泛化能力和鲁棒性方面的表现。

ABSTRACT

Robotic grasping in cluttered environments remains a significant challenge due to occlusions and complex object arrangements. We have developed ThinkGrasp, a plug-and-play vision-language grasping system that makes use of GPT-4o's advanced contextual reasoning for heavy clutter environment grasping strategies. ThinkGrasp can effectively identify and generate grasp poses for target objects, even when they are heavily obstructed or nearly invisible, by using goal-oriented language to guide the removal of obstructing objects. This approach progressively uncovers the target object and ultimately grasps it with a few steps and a high success rate. In both simulated and real experiments, ThinkGrasp achieved a high success rate and significantly outperformed state-of-the-art methods in heavily cluttered environments or with diverse unseen objects, demonstrating strong generalization capabilities.

研究动机与目标

• 解决在高度杂乱环境中目标物体被遮挡或几乎不可见时的机器人抓取挑战。
• 通过语言条件推理提升在重度遮挡下抓取未见过物体的泛化能力和鲁棒性。
• 开发一种即插即用的系统，整合视觉语言模型、分割与抓取规划，实现安全、高效且自适应的抓取。
• 通过利用大语言模型（如 GPT-4o）的推理能力，减少对大规模标注数据集的依赖。
• 通过基于提示的交互方式，实现实时适应新语言指令和新物体的能力。

提出的方法

• 系统使用 GPT-4o 解读自然语言指令，并生成一种链式思维推理计划，以目标导向的方式移除障碍物。
• 在分割后的物体区域上采用 3×3 网格化的抓取点选择策略，以提高抓取位姿的准确性和安全性。
• LangSAM 和 VLPart 用于实现鲁棒的图像与点云分割，将分割过程与语言模型预测解耦，防止错误传播。
• 系统采用模块化流程：语言模型负责策略规划，分割模型负责物体定位，下游抓取模型（FGC-GraspNet）负责位姿生成。
• 系统与 MoveIt 和 ROS 集成，用于运动规划与机器人控制，采用 RRT* 算法进行路径规划，并在真实世界部署中使用 6-DoF UR5 机械臂与 Robotiq 85 夹爪。
• 系统通过 Flask 部署在配备双 3090 GPU 的服务器上，使用 GPT-4o API 时推理延迟低于 10 秒。

实验结果

研究问题

• RQ1 视觉语言模型（如 GPT-4o）是否能够实现高度杂乱场景中几乎无需人工干预的战略性、多步骤抓取？
• RQ2 将语言推理与分割及抓取规划相结合，如何提升在遮挡环境中的成功率？
• RQ3 该系统在仿真和真实世界设置中，对未见过的物体和新颖语言指令的泛化能力达到何种程度？
• RQ4 各组件（如 GPT-4o、LangSAM、VLPart）对整体系统性能的贡献分别是什么？
• RQ5 即插即用的系统是否能在多样且复杂的杂乱场景中以极少步骤实现高成功率？

主要发现

• 在仿真环境中，ThinkGrasp 在 RefCOCO 数据集上于重度杂乱条件下实现了 98.0% 的成功率，显著优于 OVGNet（43.8%）和 VLG（75.3%）。
• 即使目标物体几乎不可见，系统仍保持 78.9% 的成功率，表明其对未见过物体和复杂遮挡具有强大的泛化能力。
• 在真实世界实验中，系统在“取一卷胶带”和“取一把手柄处的刀”等抓取任务中，第一步成功率达 75%，第二步达 80%，优于 VL-Grasp。
• 消融实验表明，移除 GPT-4o 或 3×3 抓取网格会降低性能，证实了各组件在系统成功中的关键作用。
• 与基线方法相比，该系统所需步骤更少，并且在单视角重建和机器人控制变异性等挑战下仍保持高可靠性。
• 失败原因主要源于下游模型生成的低质量抓取位姿、图像质量限制以及机器人不稳定性，凸显了提升感知与控制能力的必要性。