[论文解读] OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

Peiqi Liu, Yaswanth Orru+4 more|arXiv (Cornell University)|Jan 22, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

OK-Robot 提出了一种零样本、开放知识的机器人框架，将视觉-语言模型（VLMs）与预训练的导航和抓取原语相结合，用于在非结构化的家庭环境中执行开放词汇的拾取-放置任务。在未进行任何训练的情况下，该框架在10个真实家庭环境中实现了58.5%的成功率，而在更整洁的环境中提升至82%，表明组件整合与系统级启发式方法对性能至关重要。

ABSTRACT

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments and code are available on our website: https://ok-robot.github.io

研究动机与目标

• 开发一种通用机器人框架，实现在非结构化家庭环境中零样本开放词汇移动操作。
• 研究预训练的开放知识模型（VLMs、导航、抓取）如何在无需任务特定微调的情况下有效结合。
• 识别并解决由视觉、导航和抓取模块的组件级不准确引发的系统级故障模式。
• 通过在多样化、未见过的家庭中实际部署，建立开放词汇移动操作（OVMM）的基准。
• 通过开源代码与模块，支持未来研究的可复现性与可扩展性。

提出的方法

• OK-Robot 使用来自 iPhone 扫描的新家庭环境数据，通过 LangSam 和 CLIP 在密集视觉-语言表征上构建语义记忆。
• 利用语言嵌入将自然语言查询与语义记忆中的物体匹配，实现开放词汇的物体定位。
• 采用基于 A* 的路径规划器（类似于 USANet）执行导航，以到达由 VLM 输出推导出的目标位置。
• 通过直接在检测到的物体位置上运行的预训练抓取策略执行抓取，无需微调。
• 使用状态机控制器以模块化、零样本的流水线方式编排物体定位、导航与抓取原语。
• 应用启发式方法处理机器人特定限制，如避免碰撞，并根据物理约束调整抓取姿态。

Figure 2: Open-vocabulary, open knowledge object localization and navigation in the real-world. We use the VoxelMap [ 25 ] for localizing objects with natural language queries, and use an A* algorithm similar to USANet [ 26 ] for path planning.

实验结果

研究问题

• RQ1 预训练的 VLMs、导航与抓取模型在真实家庭环境中，零样本集成用于开放词汇移动操作的效果如何？
• RQ2 系统级设计选择（如组件组合与启发式方法）在整体性能中的作用是什么，是否独立于单个模型的准确性？
• RQ3 环境因素（如杂乱程度、物体透明度或尺寸）如何影响开放知识机器人系统的表现？
• RQ4 通过改进错误检测、重试机制或用户交互，故障模式能在多大程度上被缓解？
• RQ5 当前开放知识机器人流水线中的主要瓶颈是什么？未来通过模型或硬件改进如何解决？

主要发现

• OK-Robot 在10个真实世界、此前未见过的家庭环境中，于开放式拾取-放置任务中实现了58.5%的成功率，创下开放词汇移动操作（OVMM）的新 SOTA 水平。
• 在更整洁、无杂乱的环境中，成功率提升至82.4%，凸显环境质量对系统性能的显著影响。
• 结合语义记忆与语言匹配，预训练的 VLMs（如 CLIP 和 OWL-ViT）可有效实现零样本物体定位与导航。
• 预训练的抓取模型可直接应用而无需微调，表明这些模型在未见过的家庭场景中具有良好的泛化能力。
• 集成策略——尤其是利用启发式方法处理机器人运动学与物理约束——显著提升了成功率，优于简单的组件堆叠。
• 模块间错误累积仍是主要挑战，即使各组件准确率达80%，由于误差的乘法效应，整体成功率仍可能低于60%。

Figure 3: Open-vocabulary grasping in the real world. From left to right, we show the (a) robot POV image, (b) all suggested grasps from AnyGrasp [ 19 ] , (c) object mask given label from LangSam [ 24 ] , (d) grasp points filtered by the mask, and (e) grasp chosen for execution.