[论文解读] PLAS: Latent Action Space for Offline Reinforcement Learning

Wenxuan Zhou, Sujay Bajracharya+1 more|arXiv (Cornell University)|Nov 14, 2020

Reinforcement Learning in Robotics参考文献 22被引用 13

一句话总结

本文提出PLAS（潜在动作空间中的策略），一种用于离线强化学习的方法，通过使用条件变分自编码器（CVAE）学习的潜在空间训练策略，隐式地将动作限制在数据集的支持范围内。该方法在连续控制基准测试和真实机器人可变形物体操作任务中均实现了最先进性能，优于采用显式约束的方法，同时通过扰动层实现了可控的分布外泛化。

ABSTRACT

The goal of offline reinforcement learning is to learn a policy from a fixed dataset, without further interactions with the environment. This setting will be an increasingly more important paradigm for real-world applications of reinforcement learning such as robotics, in which data collection is slow and potentially dangerous. Existing off-policy algorithms have limited performance on static datasets due to extrapolation errors from out-of-distribution actions. This leads to the challenge of constraining the policy to select actions within the support of the dataset during training. We propose to simply learn the Policy in the Latent Action Space (PLAS) such that this requirement is naturally satisfied. We evaluate our method on continuous control benchmarks in simulation and a deformable object manipulation task with a physical robot. We demonstrate that our method provides competitive performance consistently across various continuous control tasks and different types of datasets, outperforming existing offline reinforcement learning methods with explicit constraints. Videos and code are available at https://sites.google.com/view/latent-policy.

研究动机与目标

• 解决由于分布外动作导致的外推误差问题。
• 开发一种方法，隐式地将策略约束在数据集支持的动作范围内，避免依赖KL或MMD等显式差异约束。
• 在数据集范围内实现泛化，同时在Q函数泛化良好时允许可控的分布外动作选择。
• 在多样化数据集和环境（包括真实世界机器人操作）中实现一致的性能表现。

提出的方法

• 训练一个条件变分自编码器（CVAE），从静态数据集中建模行为策略的动作分布。
• 在CVAE的潜在空间中学习策略，通过构造确保所有生成的动作均在数据集支持范围内。
• 使用CVAE解码器将潜在动作映射回原始动作空间，以与环境交互。
• 引入一个扰动层，当Q函数泛化良好时，允许对分布外动作进行受控探索。
• 使用离线强化学习目标（如时序差分学习）优化策略，采用潜在动作策略，避免对动作分布施加显式正则化。
• 将分布内泛化（通过潜在空间）与分布外泛化（通过扰动层）分离，实现细粒度控制。

实验结果

研究问题

• RQ1 在学习得到的潜在动作空间中训练策略，是否能隐式地将策略约束在数据集的动作支持范围内，从而消除对显式差异约束的需求？
• RQ2 PLAS在多种数据集上与具有显式约束的现有离线强化学习方法（如BEAR、BCQ和BRAC）相比，性能如何？
• RQ3 在何种场景下，通过扰动层允许分布外动作能提升性能？扰动幅度应如何调整？
• RQ4 PLAS能否仅使用离线数据有效泛化到真实世界机器人任务（如可变形物体操作）？

主要发现

• 在d4rl连续控制基准测试中，PLAS在多个数据集上均优于现有的离线强化学习方法，包括BEAR、BCQ和BRAC。
• 在Walker2d-medium数据集上，PLAS在无扰动时取得44.6的归一化得分，在ε=0.1时提升至66.9，显著优于基线方法。
• 该方法在Q函数估计中表现出极低的均方误差（MSE），表明其Q值估计的整体准确性优于BEAR和BRAC。
• PLAS在Q函数预测中表现出最小的过估计或欠估计偏差，状态-动作对上的误差分布均衡。
• 扰动层在随机数据集上提升了性能（例如，Hopper-random得分从10.5提升至13.3，ε=0.5），但在medium-expert和medium-replay数据集上则损害了性能。
• 在真实机器人实验中，PLAS仅使用离线数据成功学习了可变形物体操作的策略，证明了其实际适用性。