[论文解读] PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards

Prasoon Goyal, Scott Niekum+1 more|arXiv (Cornell University)|Jul 30, 2020

Reinforcement Learning in Robotics参考文献 33被引用 12

一句话总结

该论文提出PixL2R，一种将原始像素观测映射为语言条件奖励的强化学习方法，通过在配对的（轨迹，语言）数据上训练监督模型实现。通过从自由形式的自然语言描述中生成中间奖励，该方法在Meta-World机器人操作基准的稀疏奖励和密集奖励设置下显著提升了样本效率。

ABSTRACT

Reinforcement learning (RL), particularly in sparse reward settings, often requires prohibitively large numbers of interactions with the environment, thereby limiting its applicability to complex problems. To address this, several prior approaches have used natural language to guide the agent's exploration. However, these approaches typically operate on structured representations of the environment, and/or assume some structure in the natural language commands. In this work, we propose a model that directly maps pixels to rewards, given a free-form natural language description of the task, which can then be used for policy learning. Our experiments on the Meta-World robot manipulation domain show that language-based rewards significantly improves the sample efficiency of policy learning, both in sparse and dense reward settings.

研究动机与目标

• 解决强化学习中的样本效率低下问题，特别是在稀疏奖励环境中，代理在到达目标前无法获得学习信号。
• 克服先前语言引导强化学习方法的局限性，这些方法需要结构化的环境表示或预定义的语言结构。
• 在不依赖人工设计的奖励函数或环境动态模型的前提下，利用自由形式的自然语言描述实现高效的策略学习。
• 开发一个可泛化的框架，直接将视觉观测（像素）映射为基于自然语言任务描述的奖励。
• 通过使用基于语言的奖励替代或增强人工设计的密集奖励，提升策略训练效率。

提出的方法

• 使用类似Siamese的架构，通过独立的编码器分别处理轨迹和语言，基于配对的（轨迹，语言）数据训练监督相关性模型PixL2R。
• 采用CNN-LSTM架构对轨迹进行编码，以捕捉从连续RGB帧中提取的时空动态。
• 使用LSTM对自然语言描述进行编码，以建模文本中的序列依赖关系。
• 通过多层感知机计算轨迹与语言嵌入之间的相关性得分，该得分作为语言条件奖励。
• 在标准强化学习设置中，使用训练好的PixL2R模型在策略训练期间生成中间奖励，以自然语言描述作为输入。
• 在策略学习过程中收集的轨迹上微调PixL2R模型，以提升其与实际任务进展的一致性。

实验结果

研究问题

• RQ1 在连续控制任务中，能否有效利用自由形式的自然语言描述，从原始像素观测中生成中间奖励？
• RQ2 与人工设计的密集奖励相比，语言条件奖励塑造在策略学习的样本效率方面表现如何？
• RQ3 该模型在涉及预训练期间未见的新型物体-动作组合的新任务上，泛化能力如何？
• RQ4 该方法对轨迹编码、语言编码以及输入模态（例如单视角与多视角）的变化有多大的鲁棒性？
• RQ5 在稀疏奖励环境中，当任务完成前无内在奖励信号时，基于语言的奖励能否改善学习效果？

主要发现

• PixL2R在Meta-World基准的稀疏和密集奖励设置下均显著提升了样本效率，其成功轨迹数量超过人工设计的密集奖励。
• 仅使用轨迹的最后一帧（LastFrame）或对语言嵌入进行平均池化（MeanpoolLang）仍能实现与密集奖励相比具有统计显著性的改进，表明方法对简化的鲁棒性。
• 将基于LSTM的轨迹编码器替换为平均池化（MeanpoolTraj）会显著降低性能，证实了时间顺序在轨迹理解中的重要性。
• 使用单个摄像头视角（SingleView）仅带来较小且不显著的改进，表明多视角有助于缓解感知混淆和遮挡问题。
• 将回归损失替换为分类损失（Dense+CLS）未带来统计上显著的改进，表明回归目标更能捕捉部分进展。
• 消融研究证实，模型能从轨迹和语言中提取有意义的信息，且性能高度依赖于任务领域和输入模态。