[论文解读] Semantic Mechanical Search with Large Vision and Language Models

Satvik Sharma, Huang Huang+5 more|arXiv (Cornell University)|Feb 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出语义机械搜索（SMS），一种利用大语言模型（LLMs）生成语义占据分布以提升机器人机械搜索性能的框架。通过将语义推理与几何规划解耦，SMS 在模拟环境中性能提升24%，在真实物理实验中提升47.1%，在药房、厨房和办公室环境中均优于基于CLIP的基线方法，其深层语义推理能力使对象间关系理解更优。

ABSTRACT

Moving objects to find a fully-occluded target object, known as mechanical search, is a challenging problem in robotics. As objects are often organized semantically, we conjecture that semantic information about object relationships can facilitate mechanical search and reduce search time. Large pretrained vision and language models (VLMs and LLMs) have shown promise in generalizing to uncommon objects and previously unseen real-world environments. In this work, we propose a novel framework called Semantic Mechanical Search (SMS). SMS conducts scene understanding and generates a semantic occupancy distribution explicitly using LLMs. Compared to methods that rely on visual similarities offered by CLIP embeddings, SMS leverages the deep reasoning capabilities of LLMs. Unlike prior work that uses VLMs and LLMs as end-to-end planners, which may not integrate well with specialized geometric planners, SMS can serve as a plug-in semantic module for downstream manipulation or navigation policies. For mechanical search in closed-world settings such as shelves, we compare with a geometric-based planner and show that SMS improves mechanical search performance by 24% across the pharmacy, kitchen, and office domains in simulation and 47.1% in physical experiments. For open-world real environments, SMS can produce better semantic distributions compared to CLIP-based methods, with the potential to be integrated with downstream navigation policies to improve object navigation tasks. Code, data, videos, and the appendix are available: https://sites.google.com/view/semantic-mechanical-search

研究动机与目标

• 通过利用遮挡环境中对象之间的语义关系，提升机器人机械搜索性能。
• 探究大语言模型（LLMs）是否能为对象搜索任务生成比CLIP等视觉-语言模型更有效的语义表征。
• 开发一个可插拔的语义模块，可与现有几何规划器集成以实现机械搜索。
• 在封闭世界（已知对象列表）和开放世界（未见过的对象）环境中评估SMS。
• 证明将语义推理与视觉感知解耦可提升搜索性能。

提出的方法

• SMS使用目标检测或实例分割识别场景中的对象，当缺乏对象列表时则应用图像字幕生成。
• 它采用视觉-语言模型（VLM）将视觉特征编码为文本嵌入，再由大语言模型（LLM）处理以推断检测到的对象与目标之间的语义亲和力。
• LLM通过推理对象间的关系（如共现模式，例如牙膏靠近牙刷）生成语义占据分布。
• 该分布被用作下游几何规划器的输入，实现语义感知的机械搜索，而无需修改核心规划算法。
• 在封闭世界设置中，使用对象列表指导检测与字幕生成；在开放世界中，使用分割与字幕描述对象掩码。
• 该框架通过在置物架和移动导航任务上的模拟与真实世界实验进行评估。

实验结果

研究问题

• RQ1 通过LLMs进行语义推理是否能提升遮挡环境中机械搜索的性能？
• RQ2 使用LLMs生成语义占据分布是否在机械搜索中优于基于CLIP的视觉-语义匹配方法？
• RQ3 解耦的语义模块能否有效集成到现有几何规划器中以实现机械搜索？
• RQ4 SMS在缺乏对象列表的开放世界环境中表现如何？
• RQ5 与端到端的VLM规划相比，使用LLMs对语言嵌入的视觉特征进行推理有何影响？

主要发现

• 在模拟环境中，SMS在药房、厨房和办公室领域中相较仅使用几何的基线方法，将机械搜索性能提升了24%。
• 在真实实验中，SMS相较同一基线方法在成功率上提升了47.1%，展现出强大的现实世界泛化能力。
• 在开放世界导航任务中，SMS优于基于CLIP的方法，成功识别出目标书堆，而CLIP因词袋模型的局限性而失败。
• SMS生成的语义分布对干扰项更具鲁棒性——例如，CLIP错误地将“堆叠”关联到柱子，而SMS正确识别出书桌区域。
• 通过LLMs将视觉感知与语义推理解耦，性能优于端到端的VLM规划，因为LLMs更能捕捉关系语义。
• 该框架成功与下游几何规划器集成，展示了在真实机器人系统中良好的兼容性与模块化特性。