[论文解读] S4RL: Surprisingly Simple Self-Supervision for Offline Reinforcement Learning

Samarth Sinha, Mandlekar, Ajay+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 41被引用 5

一句话总结

S4RL 通过在状态空间中应用数据增强，提出了一种出人意料简单的自监督方法，用于离线强化学习，以改善 Q-network 的函数逼近。通过增强本体感知状态并利用它们来平滑 Q-value 估计，S4RL 在 D4RL、MetaWorld 和 RoboSuite 基准测试中显著优于当前最先进的离线强化学习算法，在复杂操作任务上的成功率最高提升了 3 倍。

ABSTRACT

Offline reinforcement learning proposes to learn policies from large collected datasets without interacting with the physical environment. These algorithms have made it possible to learn useful skills from data that can then be deployed in the environment in real-world settings where interactions may be costly or dangerous, such as autonomous driving or factories. However, current algorithms overfit to the dataset they are trained on and exhibit poor out-of-distribution generalization to the environment when deployed. In this paper, we study the effectiveness of performing data augmentations on the state space, and study 7 different augmentation schemes and how they behave with existing offline RL algorithms. We then combine the best data performing augmentation scheme with a state-of-the-art Q-learning technique, and improve the function approximation of the Q-networks by smoothening out the learned state-action space. We experimentally show that using this Surprisingly Simple Self-Supervision technique in RL (S4RL), we significantly improve over the current state-of-the-art algorithms on offline robot learning environments such as MetaWorld [1] and RoboSuite [2,3], and benchmark datasets such as D4RL [4].

研究动机与目标

• 研究在离线强化学习中状态空间数据增强的有效性。
• 解决离线强化学习算法中过拟合和分布外泛化能力差的问题。
• 通过自监督的状态增强，改进 Q-network 的函数逼近。
• 开发一种通用且易于实现的方法，无需架构修改即可增强现有离线强化学习算法。
• 在包括 D4RL、MetaWorld 和 RoboSuite 在内的多样化基准上评估该方法，以实现真实世界机器人策略学习。

提出的方法

• 对离线数据集中每个状态观测应用 k 种不同的数据增强。
• 使用增强后的状态计算 Q-value 目标，以鼓励状态动作值函数的局部平滑性。
• 将增强后的状态整合到标准 Q-learning 框架中，具体针对 CQL 和 BRAC 算法。
• 采用基于归一化的增强（S4RL-𝒩）、MixUp 风格插值（S4RL-MixUp）和对抗性扰动（S4RL-Adv）作为核心增强策略。
• 训练 Q-network 使其对某一状态及其增强版本产生一致的 Q-value，从而提升鲁棒性和泛化能力。
• 通过在多个基准上比较性能，对离线强化学习算法端到端评估该方法。

实验结果

研究问题

• RQ1 不同的状态空间数据增强策略如何影响离线强化学习算法的性能？
• RQ2 简单的自监督数据增强是否能改善离线强化学习中 Q-network 的函数逼近？
• RQ3 与基于像素或无增强的基线相比，基于状态的增强是否能带来更好的分布外泛化能力？
• RQ4 哪种增强策略在多样化的离线强化学习环境中能带来最一致的性能提升？
• RQ5 所提出的方法能否有效与当前最先进的离线强化学习算法（如 CQL 和 BRAC）结合？

主要发现

• 在高维状态空间（如 Franka 机器人和 Adriot 环境）中，使用对抗性扰动的 S4RL-Adv 显著优于基线 CQL 智能体。
• 在 D4RL 基准上，S4RL-𝒩 和 S4RL-Adv 在所有任务中（包括 'antmaze' 等挑战性任务）均持续优于基线 CQL 和其他自监督方法。
• 在 MetaWorld 和 RoboSuite 环境中，S4RL 在使用相同数据量的情况下，将成功率提高了约 20%。
• 在 MetaWorld 的五个任务中的三个，S4RL-Adv 智能体的表现优于行为策略，展现出强大的泛化能力。
• 在 'pen-human' 和 'hammer-human' 任务中，BRAC+S4RL 智能体学习到了基线 CQL 智能体无法掌握的有用技能，凸显了该方法的鲁棒性。
• 维度丢弃（Dimension-Dropout）和状态切换（State-Switch）增强会降低性能，可能是因为损失了关节速度等关键本体感知信息。