[论文解读] Offline Reinforcement Learning from Images with Latent Space Models

Rafael Rafailov, Tianhe Yu+2 more|arXiv (Cornell University)|Dec 21, 2020

Reinforcement Learning in Robotics参考文献 44被引用 16

一句话总结

LOMPO 提出了一种基于潜在空间模型的离线强化学习算法，通过使用集成的潜在动力学模型训练变分自编码器，从图像数据中学习视觉-运动策略。它通过潜在空间中的模型不一致来量化不确定性，基于此不确定性惩罚奖励，并在一种悲观的、不确定性正则化的MDP中优化策略，在无需环境交互的情况下，在基于图像的运动控制和操作任务上实现了最先进性能。

ABSTRACT

Offline reinforcement learning (RL) refers to the problem of learning policies from a static dataset of environment interactions. Offline RL enables extensive use and re-use of historical datasets, while also alleviating safety concerns associated with online exploration, thereby expanding the real-world applicability of RL. Most prior work in offline RL has focused on tasks with compact state representations. However, the ability to learn directly from rich observation spaces like images is critical for real-world applications such as robotics. In this work, we build on recent advances in model-based algorithms for offline RL, and extend them to high-dimensional visual observation spaces. Model-based offline RL algorithms have achieved state of the art results in state based tasks and have strong theoretical guarantees. However, they rely crucially on the ability to quantify uncertainty in the model predictions, which is particularly challenging with image observations. To overcome this challenge, we propose to learn a latent-state dynamics model, and represent the uncertainty in the latent space. Our approach is both tractable in practice and corresponds to maximizing a lower bound of the ELBO in the unknown POMDP. In experiments on a range of challenging image-based locomotion and manipulation tasks, we find that our algorithm significantly outperforms previous offline model-free RL methods as well as state-of-the-art online visual model-based RL methods. Moreover, we also find that our approach excels on an image-based drawer closing task on a real robot using a pre-existing dataset. All results including videos can be found online at https://sites.google.com/view/lompo/ .

研究动机与目标

• 在无需在线环境交互的前提下，实现从静态预收集图像数据集中安全且样本高效的视觉-运动策略学习。
• 解决在高维视觉动力学模型中进行不确定性量化的问题，该问题在像素空间中计算成本过高。
• 通过利用学习到的潜在空间中的不确定性，提升基于图像控制的泛化能力和对分布偏移的鲁棒性。
• 开发一种计算可行且理论基础扎实的方法，保持悲观性并避免从原始观测中进行离线强化学习时的模型利用。
• 在基于图像的控制基准测试中，超越现有的无模型和在线视觉模型基强化学习方法。

提出的方法

• 使用卷积编码器、共享的确定性转移模型（GRU）和随机转移模型（MLPs）训练变分自编码器，从图像序列中学习解耦的潜在表征。
• 构建一个潜在动力学模型的集成，其中每个模型共享相同的确定性转移，但具有独立的随机组件，以捕捉不确定性。
• 使用推理模型从前置图像序列后验采样潜在状态，从而实现在潜在空间中的转移建模。
• 使用前向模型的集成在潜在空间中生成合成轨迹，其中动作从策略中采样，转移使用随机动力学模型预测。
• 基于潜在空间中集成模型之间的不一致计算惩罚后的奖励，作为悲观正则化器，防止分布偏移。
• 使用离策略算法（如SAC）在真实转移与合成潜在转移的联合回放缓冲区上优化策略，采用不确定性惩罚后的回报。

实验结果

研究问题

• RQ1 能否有效将离线模型基强化学习应用于状态表征不可用的基于图像的控制任务？
• RQ2 潜在空间中的不确定性量化是否为像素空间中直接不确定性估计提供了一种计算可行且有效的替代方案？
• RQ3 潜在动力学模型中的集成不一致能否作为不确定性的可靠代理，以提升离线强化学习中的泛化能力和安全性？
• RQ4 在基于图像的基准测试中，学习于潜在惩罚MDP是否能带来优于标准无模型或在线模型基方法的性能？
• RQ5 所提出的方法能否在视觉控制的多任务和分布外设置中实现泛化？

主要发现

• LOMPO 在基于图像的运动控制和操作任务上显著优于当前最先进的无模型离线强化学习方法，包括 DeepMind Control、D’Claw Screw、Adroit Pen 和 Door Open 环境。
• 尽管仅从离线数据训练且无环境交互，LOMPO 的性能与在线视觉模型基强化学习方法（如 DreamerV2）相当或更优。
• 该方法在分布外状态和光照变化下表现出强大的泛化能力，表明对分布偏移具有鲁棒性。
• 通过集成不一致实现的潜在空间不确定性使用，产生了悲观正则化效应，有效防止了过拟合和模型利用。
• LOMPO 在多个基于图像的控制任务中实现了高样本效率和稳定性，包括一项真实机器人操作任务。
• 消融研究证实，不确定性惩罚和潜在动力学的使用对性能至关重要，其中不确定性建模的消融导致性能显著下降。