[论文解读] Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods

Yi Wan, Ali Rahimi-Kalahroudi+4 more|PolyPublie (École Polytechnique de Montréal)|Apr 25, 2022

Greenhouse Technology and Climate Control被引用 4

一句话总结

本文提出了一种改进的LoCA设置，用于评估基于模型的强化学习（MBRL）中的适应性，并表明如PlaNet和DreamerV2等主流深度MBRL方法在应对局部环境变化时无法有效适应。通过识别四种失败模式——尤其是灾难性遗忘和模型近似问题——本文表明，经过修改的线性Dyna方法可实现有效适应，而由于未解决的失败模式，非线性变体则表现不佳。

ABSTRACT

In recent years, a growing number of deep model-based reinforcement learning (RL) methods have been introduced. The interest in deep model-based RL is not surprising, given its many potential benefits, such as higher sample efficiency and the potential for fast adaption to changes in the environment. However, we demonstrate, using an improved version of the recently introduced Local Change Adaptation (LoCA) setup, that well-known model-based methods such as PlaNet and DreamerV2 perform poorly in their ability to adapt to local environmental changes. Combined with prior work that made a similar observation about the other popular model-based method, MuZero, a trend appears to emerge, suggesting that current deep model-based methods have serious limitations. We dive deeper into the causes of this poor performance, by identifying elements that hurt adaptive behavior and linking these to underlying techniques frequently used in deep model-based RL. We empirically validate these insights in the case of linear function approximation by demonstrating that a modified version of linear Dyna achieves effective adaptation to local changes. Furthermore, we provide detailed insights into the challenges of building an adaptive nonlinear model-based method, by experimenting with a nonlinear version of Dyna.

研究动机与目标

• 评估深度基于模型强化学习（MBRL）方法在连续控制设置下对局部环境变化的适应能力。
• 识别导致近似（非表格型）MBRL算法无法实现有效适应的根本失败模式。
• 开发并验证一种更鲁棒、对超参数不敏感的局部变化适应（LoCA）设置，以评估MBRL的适应性。
• 证明在稀疏奖励、随机环境中，对线性Dyna进行简单修改即可实现有效适应。
• 研究在非线性基于模型方法中实现适应性的挑战，特别是由于灾难性遗忘和近似误差所致。

提出的方法

• 提出一种改进的LoCA设置，简化了原始设置，降低了对超参数的敏感性，并可应用于随机环境。
• 采用两阶段LoCA实验：在任务A上进行训练并设定终止状态T1，随后在同一环境中测试对任务B及新终止状态T2的适应能力。
• 使用带函数近似的修改版线性Dyna算法，结合经验回放和基于模型的规划，以实现对局部变化的快速适应。
• 在改进的LoCA设置下，对深度MBRL方法（PlaNet、DreamerV2、MuZero）在MuJoCo Reacher环境中进行实证评估。
• 通过训练非线性基于模型智能体并观察其在使用类似组件的情况下仍无法适应，分析非线性Dyna中的失败模式。
• 将失败模式与特定算法组件关联：模型近似误差、经验回放不足，以及非表格型设置下的旧知识丢失和灾难性遗忘。

实验结果

研究问题

• RQ1 现代深度基于模型强化学习方法（如PlaNet和DreamerV2）在LoCA基准下是否能有效适应局部环境变化？
• RQ2 哪些关键失败模式导致近似型基于模型强化学习算法无法实现自适应行为？
• RQ3 修改后的线性Dyna算法是否能在具有挑战性的、随机的且稀疏奖励的环境中实现有效适应？
• RQ4 为何非线性基于模型方法在LoCA设置中无法适应，尽管其使用了与成功线性变体相似的组件？
• RQ5 灾难性遗忘在多大程度上限制了深度MBRL智能体在持续学习场景下的适应能力？

主要发现

• 在改进的LoCA设置下，PlaNet和DreamerV2在MuJoCo Reacher领域对局部环境变化表现出较差的适应性。
• 改进的LoCA设置比原始版本更简单，对超参数更不敏感，且对随机性更具鲁棒性。
• 修改后的线性Dyna算法在稀疏奖励、随机环境中实现了有效适应，表明通过合理设计，适应性是可实现的。
• 非线性Dyna Q无法适应的主要原因在于灾难性遗忘和模型近似误差，这些在非线性函数近似中被进一步加剧。
• 识别出四种关键失败模式：(1) 模型近似误差，(2) 经验回放不足，(3) 旧知识无法保留，(4) 灾难性遗忘——其中后者最难克服。
• 结合MuZero的先前结果，这些发现表明当前深度MBRL方法存在系统性局限：它们在快速适应局部变化方面表现不佳，从而削弱了基于模型学习的核心预期优势。