[论文解读] PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning

Jianxiong Li, Xiao Hu+4 more|arXiv (Cornell University)|May 25, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

PROTO 提出了一种用于离线到在线强化学习的迭代策略正则化框架，通过在不断演化的策略上采用信任区域风格的更新，逐步放松保守性，从而稳定在线微调过程。通过用基于最新策略的动态正则化替代固定的策略约束，PROTO 在计算开销极低的情况下实现了最先进性能，并在多种预训练与微调方法中展现出高度适应性。

ABSTRACT

Offline-to-online reinforcement learning (RL), by combining the benefits of offline pretraining and online finetuning, promises enhanced sample efficiency and policy performance. However, existing methods, effective as they are, suffer from suboptimal performance, limited adaptability, and unsatisfactory computational efficiency. We propose a novel framework, PROTO, which overcomes the aforementioned limitations by augmenting the standard RL objective with an iteratively evolving regularization term. Performing a trust-region-style update, PROTO yields stable initial finetuning and optimal final performance by gradually evolving the regularization term to relax the constraint strength. By adjusting only a few lines of code, PROTO can bridge any offline policy pretraining and standard off-policy RL finetuning to form a powerful offline-to-online RL pathway, birthing great adaptability to diverse methods. Simple yet elegant, PROTO imposes minimal additional computation and enables highly efficient online finetuning. Extensive experiments demonstrate that PROTO achieves superior performance over SOTA baselines, offering an adaptable and efficient offline-to-online RL framework.

研究动机与目标

• 解决由于分布偏移和过度保守性导致的离线到在线强化学习中初始性能下降和次优策略表现的问题。
• 克服现有方法依赖固定约束或特定预训练框架而导致的适应性有限问题。
• 通过避免使用集成模型或复杂保守训练方案，提升计算效率。
• 通过极少的代码修改，实现与多样化离线预训练及在线策略/非在线策略微调方法的无缝集成。
• 在不引入因持续保守性导致次优性的情况下，实现最优最终性能。

提出的方法

• 提出一种迭代策略正则化项，将微调策略约束在最近一次更新的策略 $\pi_k$ 上，而非固定的预训练策略 $\pi_0$。
• 通过最小化基于 $\pi_{k+1}$ 与 $\pi_k$ 之间平方差的正则化损失，执行类似信任区域的更新，确保策略更新的稳定性。
• 使用线性退火的正则化强度 $\alpha$，在迭代过程中逐步放松保守性，避免后期过度保守。
• 将正则化项应用于基于 SAC 和 TD3 的微调，通过基于均方误差的正则化损失，适配确定性策略的目标函数。
• 引入缩放因子 $\lambda$，平衡 TD3 中的 Q 值损失与正则化损失，确保训练稳定且不发生超参数爆炸。
• 通过仅需少量代码修改，即可无缝集成到标准非在线策略强化学习算法中，同时保持计算效率。

实验结果

研究问题

• RQ1 基于演化策略的迭代策略正则化是否能提升离线到在线强化学习中初始微调的稳定性与最终性能？
• RQ2 用动态正则化替代固定策略约束，是否能减少次优性，同时保持对分布偏移的鲁棒性？
• RQ3 PROTO 是否能在仅做极少架构修改的前提下，实现对多种预训练方法（如 BC、CQL）和微调算法（如 SAC、TD3）的最先进性能？
• RQ4 在实际应用中，PROTO 的计算成本与基于集成或保守强化学习的方法相比如何？
• RQ5 在样本效率和最终性能方面，迭代正则化相比固定正则化在多大程度上表现更优？

主要发现

• PROTO 在 D4RL 基准测试的多个环境中均实现了最先进性能，优于现有最先进基线方法。
• PROTO 即使从简单的行为克隆（BC）策略开始，也能实现稳定的在线微调，无需复杂的离线预训练。
• 该方法保持了极高的计算效率，与标准非在线策略强化学习算法（如 SAC 和 TD3）相比，计算开销可忽略不计。
• 实验表明，固定策略正则化（如 Frozen）因持续过度保守而出现严重性能停滞，而 PROTO 的迭代方法有效避免了此问题。
• PROTO+TD3 在 16 项任务中实现了具有竞争力的性能，证明其对不同在线强化学习算法具有广泛适应性，仅需少量修改。
• 消融实验确认，即使采用线性退火的保守性，迭代正则化仍比固定正则化带来更快的学习速度和更优的最终性能。