[论文解读] Weakly-Supervised Reinforcement Learning for Controllable Behavior

Lisa Lee, Benjamin Eysenbach+3 more|arXiv (Cornell University)|Apr 6, 2020

Reinforcement Learning in Robotics参考文献 83被引用 5

一句话总结

本文提出弱监督控制（WSC），一种利用成对人类偏好查询来学习视觉基础连续控制任务中解耦的、语义上有意义表征空间的框架。通过将探索和目标生成限制在相关变量上，WSC 加速了强化学习并提升了泛化能力，尤其在复杂环境中表现优于自监督基线方法。

ABSTRACT

Reinforcement learning (RL) is a powerful framework for learning to take actions to solve tasks. However, in many settings, an agent must winnow down the inconceivably large space of all possible tasks to the single task that it is currently being asked to solve. Can we instead constrain the space of tasks to those that are semantically meaningful? In this work, we introduce a framework for using weak supervision to automatically disentangle this semantically meaningful subspace of tasks from the enormous space of nonsensical "chaff" tasks. We show that this learned subspace enables efficient exploration and provides a representation that captures distance between states. On a variety of challenging, vision-based continuous control problems, our approach leads to substantial performance gains, particularly as the complexity of the environment grows.

研究动机与目标

• 减少在复杂环境中为强化学习手动设计奖励函数或收集专家演示的负担。
• 通过识别并聚焦于环境中语义上有意义的变量变化因素，实现目标条件策略的高效学习。
• 利用弱监督——特别是成对人类偏好查询——作为一种低成本、可扩展的方式，向强化学习智能体注入归纳偏置。
• 通过学习捕捉可控环境因素的解耦潜在空间，提升视觉基础连续控制任务中的样本效率和泛化能力。
• 通过将潜在目标与用户指定的有意义变量维度对齐，实现可解释、人类可控制的策略。

提出的方法

• 该方法使用来自成对比较查询（例如，'哪张图像显示门打开得更宽？'）的离线弱标签数据，训练解耦表征模型。
• 应用对比学习目标，学习一个潜在空间，使语义上有意义的变量变化因素实现解耦与可控性。
• 利用解耦表征定义状态与目标之间的距离度量，支持结构化探索的目标条件强化学习。
• 该框架将预训练（表征学习）与强化学习微调解耦，使智能体能够沿有意义的变量轴生成目标。
• 该方法使用基于变分自编码器（VAE）的编码器将观测映射到潜在空间，奖励通过解耦潜在空间中的L2距离计算。
• 探索由解耦空间引导，聚焦于与人类指定任务相关的维度，忽略无关维度。

实验结果

研究问题

• RQ1 通过成对人类比较的弱监督能否有效引导高维视觉环境中语义上有意义的变量变化因素的发现？
• RQ2 从弱监督中学习解耦表征是否能提升目标条件强化学习中的样本效率与泛化能力？
• RQ3 在复杂、视觉基础的控制任务中，WSC 与自监督或无监督表征学习相比表现如何？
• RQ4 解耦的潜在空间是否可用于生成有意义的目标并实现定向探索，而无需显式奖励塑形？
• RQ5 当弱监督包含虚假或错误指定的变量变化因素时，该方法的鲁棒性如何？

主要发现

• WSC 在复杂视觉基础连续控制任务中的学习效率和最终性能方面显著优于自监督基线方法。
• 通过弱监督学习得到的解耦表征可实现更快收敛，并在多样化的目标分布上实现更好的泛化能力。
• 由于在有意义的变量变化因素上进行聚焦探索，该方法在环境复杂度增加时表现出显著的性能提升。
• 通过 WSC 学习到的潜在策略具有可解释性，潜在目标可直接对应于环境中的可控属性，如物体位置或光照。
• 该框架减少了对专家提供的奖励函数或演示数据的依赖，转而依赖于易于收集的成对偏好数据。
• 实证结果表明，基于解耦的表征方法对于有效利用弱监督至关重要，而非被动使用弱监督。