[论文解读] RoboCLIP: One Demonstration is Enough to Learn Robot Policies

Sumedh Sontakke, Jesse Zhang+6 more|arXiv (Cornell University)|Oct 11, 2023

Reinforcement Learning in Robotics被引用 7

一句话总结

RoboCLIP 是一种新颖的模仿学习方法，通过使用预训练的视频与语言模型（VLM）从单个视频或文本示范中生成奖励信号，实现无需人工设计奖励的机器人策略学习。该方法在机器人操作任务中实现了 2–3 倍于最先进方法的零样本成功率，即使使用分布外示范或不微调 VLM 也能实现这一效果。

ABSTRACT

Reward specification is a notoriously difficult problem in reinforcement learning, requiring extensive expert supervision to design robust reward functions. Imitation learning (IL) methods attempt to circumvent these problems by utilizing expert demonstrations but typically require a large number of in-domain expert demonstrations. Inspired by advances in the field of Video-and-Language Models (VLMs), we present RoboCLIP, an online imitation learning method that uses a single demonstration (overcoming the large data requirement) in the form of a video demonstration or a textual description of the task to generate rewards without manual reward function design. Additionally, RoboCLIP can also utilize out-of-domain demonstrations, like videos of humans solving the task for reward generation, circumventing the need to have the same demonstration and deployment domains. RoboCLIP utilizes pretrained VLMs without any finetuning for reward generation. Reinforcement learning agents trained with RoboCLIP rewards demonstrate 2-3 times higher zero-shot performance than competing imitation learning methods on downstream robot manipulation tasks, doing so using only one video/text demonstration.

研究动机与目标

• 为解决强化学习中稀疏且昂贵的专家监督问题，减少对大规模示范数据的依赖。
• 实现仅用一个示范（视频或自然语言描述）的模仿学习，以提升数据效率。
• 允许使用分布外示范（例如，来自不同环境的人类视频）生成奖励信号。
• 在不微调的前提下利用预训练的 VLM 生成基于语义相似度的奖励，用于在线强化学习。
• 通过最小量的人工监督，提升机器人操作任务中的零样本泛化能力。

提出的方法

• RoboCLIP 使用来自 HowTo100M 的预训练 S3D 视频模型，将智能体的交互视频和任务示范（文本或视频）编码为潜在嵌入。
• 通过计算智能体轨迹嵌入与示范嵌入之间的余弦相似度，生成轨迹级奖励，作为任务成功性的代理信号。
• 该方法在在线强化学习循环中运行，智能体进行探索，VLM 基于与示范的对齐程度提供密集且语义丰富的奖励。
• VLM 以零样本方式使用——未在机器人环境上进行微调，从而保持跨领域的泛化能力。
• 该方法支持域内和域外示范，包括来自不同环境的人类视频。
• 它利用 VLM 中的对比学习来捕捉运动和语义结构，这对任务完成信号至关重要。

Figure 1 : RoboCLIP Overview. A Pretrained Video-and-Language Model is used to generate rewards via the similarity score between the encoding of an episode of interaction of an agent in its environment, $\mathbf{z}^{v}$ with the encoding of a task specifier $\mathbf{z}^{d}$ such as a textual descrip

实验结果

研究问题

• RQ1 仅使用一个视频或文本示范，是否足以通过预训练的 VLM 生成奖励来训练机器人策略？
• RQ2 使用分布外示范（例如，来自不同环境的人类视频）是否仍能生成有效的奖励信号用于策略学习？
• RQ3 RoboCLIP 在零样本成功率方面与最先进模仿学习方法相比表现如何？
• RQ4 使用基于视频的 VLM 与静态图像模型（如 CLIP）相比，对奖励质量和策略性能有何影响？
• RQ5 VLM 的语义嵌入是否能跨领域变化（如厨房环境与 VLM 的预训练分布之间）实现泛化？

主要发现

• RoboCLIP 在 Meta-World 和 Franka Kitchen 环境中，零样本任务成功率比最先进模仿学习基线高出 2–3 倍。
• 使用单个域内视频示范可提供最强的预训练信号，其性能优于多个示范，原因在于嵌入对齐更优。
• 即使环境和摄像头设置与预训练数据不同，分布外的人类示范视频仍能提供有用的奖励信号。
• 使用 CLIP（一种在静态图像上预训练的视觉变换器）无法提供有效的预训练奖励，表明运动和时序动态对有效奖励设计至关重要。
• 该方法在跨领域上泛化良好，表现为即使 VLM 是在多样化、非机器人视频上预训练的，性能依然强劲。
• 在不微调 VLM 的情况下，奖励信号保持稳定且有效，证明了预训练嵌入在零样本模仿中的鲁棒性。

Figure 2 : Domain Alignment Confusion Matrix. We perform a confusion matrix analysis on a subset of the data on collected on Metaworld (Yu et al., 2020 ) environments by comparing the pair-wise similarities between the latent vectors of the strings describing the videos and those of the videos. We f