[论文解读] Policy Expansion for Bridging Offline-to-Online Reinforcement Learning

Haichao Zhang, Xu We+1 more|arXiv (Cornell University)|Feb 2, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出策略扩展（PEX），一种通过在策略集合中保持预训练的离线策略，同时引入新策略进行在线微调，以增强离线到在线强化学习的方法。在交互过程中，两个策略被自适应地组合，既保留了离线知识，又实现了互补性探索，从而在基准任务中提升了样本效率和性能。

ABSTRACT

Pre-training with offline data and online fine-tuning using reinforcement learning is a promising strategy for learning control policies by leveraging the best of both worlds in terms of sample efficiency and performance. One natural approach is to initialize the policy for online learning with the one trained offline. In this work, we introduce a policy expansion scheme for this task. After learning the offline policy, we use it as one candidate policy in a policy set. We then expand the policy set with another policy which will be responsible for further learning. The two policies will be composed in an adaptive manner for interacting with the environment. With this approach, the policy previously learned offline is fully retained during online learning, thus mitigating the potential issues such as destroying the useful behaviors of the offline policy in the initial stage of online learning while allowing the offline policy participate in the exploration naturally in an adaptive manner. Moreover, new useful behaviors can potentially be captured by the newly added policy through learning. Experiments are conducted on a number of tasks and the results demonstrate the effectiveness of the proposed approach. Code is available at https://github.com/Haichao-Zhang/PEX

研究动机与目标

• 为解决在在线强化学习中微调预训练离线策略时出现的灾难性遗忘和分布偏移问题。
• 使离线策略能够主动参与在线探索，同时在在线训练过程中不被覆盖。
• 开发一种简单、模块化的框架，可与现有的离线和在线强化学习算法结合使用。
• 通过利用预训练行为并允许新行为的出现，提升在线强化学习中的样本效率和最终性能。
• 为开发新型统一的离线-在线强化学习算法提供一种正交替代方案。

提出的方法

• 该方法维护一个包含预训练离线策略 $\pi_\beta$ 和新初始化策略 $\pi_\theta$ 的策略集合。
• 在在线交互过程中，最终动作通过可学习的、自适应地组合 $\pi_\beta$ 和 $\pi_\theta$ 的方式选择，由路由网络控制。
• 路由网络根据当前状态确定选择每个策略的概率，实现动态策略切换。
• 在在线训练过程中，离线策略 $\pi_\beta$ 被冻结，确保其行为在整个学习过程中保持不变。
• 新策略 $\pi_\theta$ 使用标准的离策略强化学习算法（如 SAC）进行在线训练，使其能够学习新行为。
• 该方法与现有的离线（如 IQL）和在线（如 SAC）强化学习方法兼容，支持即插即用的集成。

实验结果

研究问题

• RQ1 在在线微调过程中保留离线策略是否能防止因灾难性遗忘导致的性能下降？
• RQ2 对离线和在线策略进行自适应组合是否能提升在线强化学习中的探索效率和样本效率？
• RQ3 所提出的策略扩展方案是否在离线到在线强化学习设置中优于使用单一策略的标准微调方法？
• RQ4 策略集合中的两个策略在状态空间中如何分配使用，是否表现出互补行为？
• RQ5 该方法是否能有效与不同的离线和在线强化学习算法结合使用，而无需进行算法重构？

主要发现

• 所提出的 PEX 方法在多个基准任务中均实现了稳定的性能提升，包括 AntMaze 和 HalfCheetah。
• 在 AntMaze-medium-diverse 环境中，PEX 超过了标准微调和其他基线方法，实现了更高的最终回报和更快的收敛速度。
• 可视化结果表明，离线策略 $\pi_\beta$ 主要用于安全、已知的区域，而 $\pi_\theta$ 则探索新颖且具有挑战性的状态。
• 自适应组合机制使策略集合能够动态切换行为，其中 $\pi_\theta$ 在高不确定性或未探索区域中占据主导。
• 该方法在不同离线预训练算法和在线强化学习方法中均表现出鲁棒性，证实了其泛化能力。
• 该方法在整个在线训练过程中保持了离线策略的性能，避免了标准微调中常见的性能下降现象。