[论文解读] Offline Meta-Reinforcement Learning with Advantage Weighting

Eric Mitchell, Rafael Rafailov+3 more|arXiv (Cornell University)|Aug 13, 2020

Reinforcement Learning in Robotics参考文献 47被引用 11

一句话总结

本文提出离线元强化学习（offline meta-RL），一种代理在多个任务的固定预收集数据上进行元训练，并仅使用少量轨迹适应新任务的设置。所提出的MACAW算法结合MAML风格的元学习与优势加权回归（AWR），在完全离线的设置下实现一致且样本高效的适应，优于先前方法在连续控制基准测试中的表现。

ABSTRACT

This paper introduces the offline meta-reinforcement learning (offline meta-RL) problem setting and proposes an algorithm that performs well in this setting. Offline meta-RL is analogous to the widely successful supervised learning strategy of pre-training a model on a large batch of fixed, pre-collected data (possibly from various tasks) and fine-tuning the model to a new task with relatively little data. That is, in offline meta-RL, we meta-train on fixed, pre-collected data from several tasks in order to adapt to a new task with a very small amount (less than 5 trajectories) of data from the new task. By nature of being offline, algorithms for offline meta-RL can utilize the largest possible pool of training data available and eliminate potentially unsafe or costly data collection during meta-training. This setting inherits the challenges of offline RL, but it differs significantly because offline RL does not generally consider a) transfer to new tasks or b) limited data from the test task, both of which we face in offline meta-RL. Targeting the offline meta-RL setting, we propose Meta-Actor Critic with Advantage Weighting (MACAW), an optimization-based meta-learning algorithm that uses simple, supervised regression objectives for both the inner and outer loop of meta-training. On offline variants of common meta-RL benchmarks, we empirically find that this approach enables fully offline meta-reinforcement learning and achieves notable gains over prior methods.

研究动机与目标

• 正式定义离线元-RL问题设置，其中元训练完全基于固定预收集数据，无需在线交互。
• 设计一种元-RL算法，即使在元训练期间无在线数据收集，也能保持一致性——在分布内与分布外测试任务上均表现良好。
• 通过增强策略更新的表达能力并使用监督回归目标，克服将MAML与基于值的RL结合在离线设置下的不稳定性。
• 仅依赖离线数据进行元训练，同时利用极少数轨迹（少于5条）实现对新任务的快速适应。
• 开发一种实用的端到端离线元-RL框架，兼具样本高效性与对低质量或稀疏训练数据的鲁棒性。

提出的方法

• 提出MACAW，一种基于优化的元-RL算法，其内环与外环均使用监督回归，避免在线策略梯度。
• 采用优势加权回归（AWR）作为核心强化学习子程序，无需bootstrapping或动态规划即可拟合值函数。
• 在内环引入改进的策略更新方式，以增强元学习器的表达能力，提升适应性能。
• 使用具有特定架构设计的浅层前馈神经网络，该设计在离线设置中对稳定且有效的元学习至关重要。
• 应用MAML风格的元优化，通过测试任务小数据集的梯度更新元参数，实现快速适应。
• 在值函数估计中使用蒙特卡洛回报，避免在离线元-RL中TD更新带来的不稳定性与长时序问题。

实验结果

研究问题

• RQ1 当元训练完全基于离线数据且元训练期间无任何在线交互时，元-RL算法能否实现对新任务的一致适应？
• RQ2 在TD更新不稳定的离线设置中，如何有效结合MAML风格的元学习与离策略、基于值的RL？
• RQ3 增强内环策略更新的表达能力是否能提升离线元-RL中的适应性能与稳定性？
• RQ4 在低数据场景下，完全离线的元-RL算法能否优于现有的离策略与在线元-RL基线方法？
• RQ5 所提方法对稀疏或低质量的元训练数据有多鲁棒？在该类条件下是否仍能保持性能？

主要发现

• MACAW在标准连续控制元-RL基准测试的离线变体上显著优于先前的最先进方法。
• 即使新任务的轨迹少于5条，该算法在分布内与分布外测试任务上均表现出一致的适应性能。
• MACAW优于完全离线的离策略RL与元-RL基线方法，包括在完全离线设置中表现更差的PEARL。
• 改进的内环策略更新显著提升了适应的稳定性和性能，尤其在具有挑战性或数据稀疏的场景下。
• 在AWR-based值函数估计中使用蒙特卡洛回报被证明在离线元-RL中有效且稳定，避免了TD更新的不稳定性。
• MACAW的架构设计——特别是浅层前馈网络——被证明对实现良好性能至关重要，优于更深或标准架构。