[论文解读] Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning

Juan Rocamonde, Victoriano Montesinos+3 more|arXiv (Cornell University)|Oct 19, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出 VLM-RM 方法，通过计算 CLIP 嵌入向量与环境状态和自然语言提示之间的余弦相似度，利用 CLIP 等视觉语言模型作为强化学习的零样本奖励模型。该方法仅使用单句文本提示，无需奖励工程或微调，成功训练 MuJoCo 人形机器人完成复杂任务，如下跪、劈叉和莲花坐姿。实验表明该方法在模型规模上具有良好的可扩展性，并在零样本设置下表现出强鲁棒性。

ABSTRACT

Reinforcement learning (RL) requires either manually specifying a reward function, which is often infeasible, or learning a reward model from a large amount of human feedback, which is often very expensive. We study a more sample-efficient alternative: using pretrained vision-language models (VLMs) as zero-shot reward models (RMs) to specify tasks via natural language. We propose a natural and general approach to using VLMs as reward models, which we call VLM-RMs. We use VLM-RMs based on CLIP to train a MuJoCo humanoid to learn complex tasks without a manually specified reward function, such as kneeling, doing the splits, and sitting in a lotus position. For each of these tasks, we only provide a single sentence text prompt describing the desired task with minimal prompt engineering. We provide videos of the trained agents at: https://sites.google.com/view/vlm-rm. We can improve performance by providing a second "baseline" prompt and projecting out parts of the CLIP embedding space irrelevant to distinguish between goal and baseline. Further, we find a strong scaling effect for VLM-RMs: larger VLMs trained with more compute and data are better reward models. The failure modes of VLM-RMs we encountered are all related to known capability limitations of current VLMs, such as limited spatial reasoning ability or visually unrealistic environments that are far off-distribution for the VLM. We find that VLM-RMs are remarkably robust as long as the VLM is large enough. This suggests that future VLMs will become more and more useful reward models for a wide range of RL applications.

研究动机与目标

• 开发一种样本高效、零样本的视觉基础强化学习奖励函数指定方法，利用预训练视觉语言模型。
• 通过利用视觉语言模型的零样本能力，消除对昂贵人工反馈或任务特定奖励工程的需求。
• 评估大规模视觉语言模型（如 CLIP）是否可作为复杂机器人控制任务的有效、通用奖励模型。
• 研究基于视觉语言模型的奖励模型在模型规模和训练数据方面的扩展行为。
• 识别 VLM-RM 在强化学习中的失败模式与局限性，尤其关注空间推理和分布外偏移相关问题。

提出的方法

• 该方法使用 CLIP 作为视觉语言模型，通过计算当前环境观测的 CLIP 嵌入向量与描述期望任务的文本提示之间的余弦相似度来生成奖励。
• 可选地使用描述中性或默认状态的基准提示，以在 CLIP 嵌入空间中投影出无关方向，提升奖励的判别能力。
• 奖励函数定义为 R(s, a, s') = cos(clip_img_enc(s), clip_text_enc(prompt))，其中 s 为给定状态，prompt 为任务提示。
• 使用标准的异策略深度强化学习算法（如 SAC）基于 VLM 生成的奖励信号训练策略。
• 在具有真实渲染效果的 MuJoCo 环境中进行实验，以增强 VLM 感知与环境状态之间的对齐。
• 通过训练成功率、轨迹质量以及与基准任务中真实奖励的相关性来评估性能。

Figure 1: We use CLIP as a reward model to train a MuJoCo humanoid robot to (1) stand with raised arms, (2) sit in a lotus position, (3) do the splits, and (4) kneel on the ground (from left to right). We specify each task using a single sentence text prompt. The prompts are simple (e.g., “a humanoi

实验结果

研究问题

• RQ1 是否可以不经过微调，仅使用 CLIP 等视觉语言模型作为视觉基础强化学习的零样本奖励模型？
• RQ2 基于视觉语言模型的 VLM-RM 性能如何随底层视觉语言模型的规模和训练数据量而变化？
• RQ3 使用基准提示对 VLM-RM 的奖励信号进行正则化有何影响？
• RQ4 VLM-RM 在环境渲染的视觉真实性和分布外偏移方面表现如何？
• RQ5 VLM-RM 的主要失败模式是什么，它们与当前视觉语言模型的已知局限性有何关联？

主要发现

• VLM-RM 仅使用每项任务一个单句提示，成功训练 MuJoCo 人形机器人完成复杂且非平凡的任务，如下跪、劈叉和莲花坐姿。
• 该方法在标准强化学习基准任务（如 CartPole 和 MountainCar）中表现优异，VLM-RM 奖励与真实奖励之间具有强相关性。
• 在计算资源和训练数据更多时，更大的视觉语言模型表现出显著的扩展效应，仅最大规模的公开 CLIP 模型可成功训练复杂人形机器人任务。
• 使用基准提示投影出无关嵌入方向，可提升奖励判别能力与性能，尤其在复杂任务中效果更明显。
• 失败模式主要源于视觉语言模型的已知局限性，如空间推理能力差和对分布外视觉输入敏感，而非 VLM-RM 框架本身存在固有缺陷。
• 只要视觉语言模型足够大，该方法表现出极强的鲁棒性，表明未来更大规模的视觉语言模型将作为零样本奖励模型愈发有效。

(a) CartPole