[论文解读] Ready Policy One: World Building Through Active Learning

Philip Ball, Jack Parker-Holder+3 more|arXiv (Cornell University)|Feb 7, 2020

Reinforcement Learning in Robotics参考文献 51被引用 8

一句话总结

Ready Policy One (RP1) 提出了一种用于基于模型的强化学习（MBRL）的新型主动学习框架，该框架在数据收集过程中动态平衡奖励最大化与模型不确定性减少。通过在线调整探索-利用权衡并引入早期停止机制，RP1 在连续控制基准测试中实现了显著的样本效率提升，相较于现有 MBRL 方法表现出统计上显著的改进。

ABSTRACT

Model-Based Reinforcement Learning (MBRL) offers a promising direction for sample efficient learning, often achieving state of the art results for continuous control tasks. However, many existing MBRL methods rely on combining greedy policies with exploration heuristics, and even those which utilize principled exploration bonuses construct dual objectives in an ad hoc fashion. In this paper we introduce Ready Policy One (RP1), a framework that views MBRL as an active learning problem, where we aim to improve the world model in the fewest samples possible. RP1 achieves this by utilizing a hybrid objective function, which crucially adapts during optimization, allowing the algorithm to trade off reward v.s. exploration at different stages of learning. In addition, we introduce a principled mechanism to terminate sample collection once we have a rich enough trajectory batch to improve the model. We rigorously evaluate our method on a variety of continuous control tasks, and demonstrate statistically significant gains over existing approaches.

研究动机与目标

• 为解决 MBRL 中基于启发式探索的低效问题，后者常导致冗余或无信息量的数据收集。
• 减少对固定超参数（如探索温度）的依赖，这些参数需要手动调优且限制了适应性。
• 将 MBRL 的数据收集问题重新构型为一个主动学习问题，使策略在最小样本下优化以实现模型改进。
• 通过确保数据收集策略在真实环境中同时具备有效性与对世界模型训练的信息性，消除对独立‘利用’策略的需求。
• 引入一种有原则的早期停止机制，一旦模型改进达到足够水平即终止数据收集，从而减少冗余。

提出的方法

• RP1 构建了一个混合目标函数，联合优化期望回报与模型不确定性减少，其中权衡系数 λ 动态调整。
• 权衡系数 λ 通过在线梯度下降在线学习，使算法能够根据当前优化状态自适应地在奖励与探索之间调整关注重点。
• 该方法使用奖励预测的方差作为内在不确定性信号，而非下一状态预测的方差，以更好地与任务相关的动力学对齐。
• 基于模型性能的边际增益应用早期停止标准；一旦改进趋于平稳，数据收集即停止，以防止冗余采样。
• 该框架运行于类似 Dyna 的 MBRL 框架中，支持跨任务的可迁移性，并利用学习到的世界模型实现高效规划。
• 该方法与现有 MBRL 架构正交，可与最先进的世界模型（如概率神经网络或变分自编码器）集成。

实验结果

研究问题

• RQ1 主动学习原则能否有效应用于 MBRL，以提升数据收集的样本效率？
• RQ2 在训练过程中动态调整探索-利用权衡相较于固定超参数，对学习性能有何影响？
• RQ3 使用奖励预测方差作为不确定性信号，是否优于使用下一状态预测方差以引导信息量丰富的探索？
• RQ4 与静态或人工调优的 λ 值相比，在线学习机制对探索系数 λ 的改进程度如何？
• RQ5 针对轨迹收集的早期停止机制能否在不牺牲最终策略性能的前提下减少冗余并提升样本效率？

主要发现

• 在 HalfCheetah 环境中，RP1 在 10^5 个时间步时达到 390.49 的中位数性能，显著优于基线的 283.27。
• 在 Ant 环境中，RP1 达到 238.4 的中位数回报，远超基线的 186.36 以及 RP1 (λ=0) 变体的 223.21。
• 对于 Hopper 环境，RP1 实现了 619.73 的中位数回报，超过基线的 487.25 及所有消融变体，表明其在多样化任务中的鲁棒性。
• 消融研究显示，若移除在线 λ 自适应（RP1 (λ=0)），在 Swimmer 环境中性能下降（41.14 vs. 64.19），表明动态权衡调整的重要性。
• 使用下一状态方差作为不确定性信号的效果不如奖励方差，如图 3 和表 2 所示，其表现中位数更低且四分位距更宽。
• 早期停止机制显著提升了样本效率，因为即使使用相同策略，RP1 (No EarlyStop) 变体表现更差，表明冗余数据收集会损害性能。