[论文解读] Reinforcement Learning with Prototypical Representations

Denis Yarats, Rob Fergus+2 more|arXiv (Cornell University)|Feb 22, 2021

Reinforcement Learning in Robotics参考文献 56被引用 42

一句话总结

Proto-RL 是一种模型无关的 RL 方法，将通过自监督学习学习的连续表示与原型离散结构相结合，以驱动探索并改进策略学习，灵感来自 BYOL 和 SwAV。

ABSTRACT

Learning effective representations in image-based environments is crucial for sample efficient Reinforcement Learning (RL). Unfortunately, in RL, representation learning is confounded with the exploratory experience of the agent -- learning a useful representation requires diverse data, while effective exploration is only possible with coherent representations. Furthermore, we would like to learn representations that not only generalize across tasks but also accelerate downstream exploration for efficient task-specific training. To address these challenges we propose Proto-RL, a self-supervised framework that ties representation learning with exploration through prototypical representations. These prototypes simultaneously serve as a summarization of the exploratory experience of an agent as well as a basis for representing observations. We pre-train these task-agnostic representations and prototypes on environments without downstream task information. This enables state-of-the-art downstream policy learning on a set of difficult continuous control tasks.

研究动机与目标

• 激发在强化学习中使用无监督的原型表示以提升探索。
• 开发一种模型无关的算法，利用连续表示与离散原型。
• 将 BYOL 和 SwAV 的自监督学习思想应用到 RL 设置。
• 分析原型对熵估计和探索稳定性的影响。

提出的方法

• 像在 BYOL 中那样使用预测器和目标网络，目标通过指数滑动平均更新。
• 通过类似 SwAV 的损失和目标生成过程学习一组原型。
• 对比连续观测并采用适用于非平稳 RL 的数据增强。
• 使用基于熵的度量（来自原型驱动的最近邻统计）计算内在奖励。
• 让探索 RL 代理的梯度截断，以将表示学习与 RL 目标分离。

实验结果

研究问题

• RQ1 在 RL 中联合学习连续表示和原型离散结构是否能改善探索和策略性能？
• RQ2 基于原型的熵估计如何影响探索稳定性和样本效率？
• RQ3 是否可以将 BYOL/SwAV 启发的自监督目标有效地适应于非平稳 RL 设置？
• RQ4 预训练状态熵和内在奖励在 Proto-RL 性能中起到的作用是什么？

主要发现

• Proto-RL 利用连续表示与离散原型来改善探索。
• 基于原型的熵估计相比随机批次降低了内在奖励的方差。
• 对某些组件停止梯度有助于将表示学习与 RL 目标解耦。
• 内在奖励加速 Proto-RL 的下游探索。
• 该方法在不需要预训练的情况下将 BYOL 和 SwAV 的思想整合到 RL 中。