[论文解读] When to Update Your Model: Constrained Model-based Reinforcement Learning

Tianying Ji, Yu Luo+4 more|arXiv (Cornell University)|Oct 15, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出CMLO，一种受约束的基于模型强化学习算法，采用事件触发机制动态确定最优模型更新时机，确保性能单调提升。通过在理论上将模型漂移约束与性能下界关联，CMLO在连续控制基准测试中相比最先进方法实现了更快的学习速度和更优的渐近回报。

ABSTRACT

Designing and analyzing model-based RL (MBRL) algorithms with guaranteed monotonic improvement has been challenging, mainly due to the interdependence between policy optimization and model learning. Existing discrepancy bounds generally ignore the impacts of model shifts, and their corresponding algorithms are prone to degrade performance by drastic model updating. In this work, we first propose a novel and general theoretical scheme for a non-decreasing performance guarantee of MBRL. Our follow-up derived bounds reveal the relationship between model shifts and performance improvement. These discoveries encourage us to formulate a constrained lower-bound optimization problem to permit the monotonicity of MBRL. A further example demonstrates that learning models from a dynamically-varying number of explorations benefit the eventual returns. Motivated by these analyses, we design a simple but effective algorithm CMLO (Constrained Model-shift Lower-bound Optimization), by introducing an event-triggered mechanism that flexibly determines when to update the model. Experiments show that CMLO surpasses other state-of-the-art methods and produces a boost when various policy optimization methods are employed.

研究动机与目标

• 为解决在交替更新策略与模型过程中，因模型漂移不受控而导致的基于模型强化学习性能非单调的问题。
• 开发一个理论基础扎实的框架，通过约束模型漂移来保证基于模型强化学习的性能单调提升。
• 设计一种实用算法，根据动态探索需求自适应地确定何时更新模型。
• 证明在每次更新步骤前调整探索次数可提升模型准确率和最终策略性能。
• 验证事件触发机制在降低训练成本的同时提升样本效率和策略覆盖范围的有效性。

提出的方法

• 提出一种新颖的理论方案，将一步模型准确率与模型漂移约束关联到性能提升的下界。
• 在较温和的假设下，推导出一个受约束的下界优化问题，以确保在基于模型强化学习中实现性能的单调提升。
• 提出CMLO，一种简单而高效的算法，利用事件触发机制根据估计的模型漂移约束来决定模型更新时机。
• 采用触发条件，在启动新的模型训练阶段前评估模型漂移是否仍处于预设范围内。
• 将该框架应用于多种策略优化主干网络，验证其在不同基于模型强化学习架构中的通用性。
• 在六个连续控制基准上通过实证验证，将CMLO与最先进方法如MBPO进行比较。

实验结果

研究问题

• RQ1 如何在动态模型更新的情况下，理论上保证基于模型强化学习的性能单调提升？
• RQ2 在基于模型强化学习中，模型漂移幅度与性能提升之间存在何种关系？
• RQ3 在模型更新前动态调整探索次数是否能带来更高的模型准确率和策略性能？
• RQ4 与固定间隔更新相比，事件触发模型更新机制在样本效率和渐近回报方面表现如何？
• RQ5 对模型漂移施加约束在多大程度上能提升泛化能力并防止对未充分探索数据的过拟合？

主要发现

• CMLO在所有六个基准任务中均实现了比最先进基于模型强化学习方法（包括MBPO）更快的学习速度和更高的渐近回报。
• 在HalfCheetah任务中，CMLO在前30万步内平均回报领先MBPO约1,855.29。
• CMLO的策略覆盖度提升更稳定，表明其探索更充分，且降低陷入局部最优的风险。
• 事件触发机制降低了模型训练频率，同时保持或提升了模型准确率，所有基准测试中的一步模型误差均更低。
• 消融实验确认了事件触发机制的统计显著性，所有任务的p值均低于0.05，表明性能提升具有实际意义。
• 触发条件的可视化显示，仅当模型漂移超过阈值时机制才会激活，从而确保更新的及时性和高效性。