[论文解读] Programmatically Grounded, Compositionally Generalizable Robotic Manipulation

Renhao Wang, Jiayuan Mao+4 more|arXiv (Cornell University)|Apr 26, 2023

Robot Manipulation and Learning被引用 4

一句话总结

本文提出 programport，一种基于程序的模块化框架，通过使用组合范畴语法（CCG）将自然语言指令解析为可执行程序，将视觉-语言定位与特定任务的策略学习解耦，从而在机器人操作中实现视觉-语言定位与任务特定策略学习的分离。通过专用神经模块对语言概念和动作进行定位，该模型在未见过的物体-任务组合上实现了卓越的零样本和组合泛化性能，且在数据效率方面优于标准微调方法。

ABSTRACT

Robots operating in the real world require both rich manipulation skills as well as the ability to semantically reason about when to apply those skills. Towards this goal, recent works have integrated semantic representations from large-scale pretrained vision-language (VL) models into manipulation models, imparting them with more general reasoning capabilities. However, we show that the conventional pretraining-finetuning pipeline for integrating such representations entangles the learning of domain-specific action information and domain-general visual information, leading to less data-efficient training and poor generalization to unseen objects and tasks. To this end, we propose ProgramPort, a modular approach to better leverage pretrained VL models by exploiting the syntactic and semantic structures of language instructions. Our framework uses a semantic parser to recover an executable program, composed of functional modules grounded on vision and action across different modalities. Each functional module is realized as a combination of deterministic computation and learnable neural networks. Program execution produces parameters to general manipulation primitives for a robotic end-effector. The entire modular network can be trained with end-to-end imitation learning objectives. Experiments show that our model successfully disentangles action and perception, translating to improved zero-shot and compositional generalization in a variety of manipulation behaviors. Project webpage at: \url{https://progport.github.io}.

研究动机与目标

• 为了解决视觉-语言（VL）模型在机器人操作中因感知与控制学习相互耦合而导致的零样本和组合泛化性能差的问题。
• 通过结构化程序表示，将通用领域视觉定位与特定领域策略学习解耦。
• 通过模块化、基于程序执行的流水线利用预训练视觉-语言模型，提升数据效率和泛化能力。
• 在无需微调的情况下，实现对未见过的物体与操作行为组合的鲁棒推理。
• 开发一种框架，利用领域特定语言（DSL）和可执行程序，忠实实现语言到视觉与动作的定位。

提出的方法

• 使用组合范畴语法（CCG）将自然语言指令解析为可执行的操作程序，实现结构化的语义解析。
• 定义一种领域特定语言（DSL），包含用于视觉定位的功能模块（例如，按类别定位物体）和用于动作策略的功能模块（例如，生成抓取/放置位姿）。
• 将每个功能模块实现为确定性计算与可学习神经网络的混合体，支持通过模仿学习目标进行端到端训练。
• 使用预训练视觉-语言模型（例如，CLIP）以解耦方式将语言描述与视觉输入对齐，独立于特定任务的策略。
• 在推理时执行程序，基于视觉和语言输入生成机器人基本操作（如抓取和放置）的控制参数。
• 通过专家演示的模仿学习，对整个模块化网络进行端到端训练，实现高效的数据利用策略学习。

Figure 1: Zero-Shot and Compositional Generalization: Our framework, programport , is capable of generalizing to combinations of unseen objects and manipulation behaviors at test time.

实验结果

研究问题

• RQ1 与标准视觉-语言模型微调相比，基于程序的模块化框架是否能提升机器人操作中的零样本泛化性能？
• RQ2 将视觉定位与策略学习解耦，是否能提升在新型物体-任务组合上的组合泛化能力？
• RQ3 从自然语言中提取的结构化程序表示，是否能提升视觉-语言操作中的定位保真度和数据效率？
• RQ4 模型在无需微调的情况下，对未见过的物体类别和已知概念的新组合，其泛化能力能达到何种程度？
• RQ5 在分布外的语言和视觉输入下，基于程序的定位方法与端到端微调相比，在鲁棒性方面表现如何？

主要发现

• 该模型在无需任何微调的情况下，实现了对未见过的物体与操作行为组合（如推动或放置不熟悉形状）的显著零样本泛化能力。
• programport 展现出更高的数据效率，仅用更少的演示样本即可学习到性能优越的模仿策略，优于标准微调基线方法。
• 解耦的架构实现了语言到视觉的忠实定位，避免了传统微调方法中因捷径学习导致的过拟合问题。
• 即使在训练中未出现过，该模型仍能泛化到已知概念的新组合（例如，“将红色立方体推到蓝色盒子上”）。
• 使用 CCG 解析和 DSL 机制，实现了对语言的结构化推理，从而带来更可靠、可解释的策略执行。
• 在 10 个多样化的桌面操作任务上的实证结果表明，programport 在零样本和组合泛化设置下均优于强基线模型。

Figure 2: (a) Existing manipulation models entangle visual grounding from pretrained VL models with task-specific policy learning. (b) Our disentangled approach leverages program-based representation of language semantics to yield faithful VL-grounding and improved genearlization.