[论文解读] The LoCA Regret: A Consistent Metric to Evaluate Model-Based Behavior in Reinforcement Learning

Harm van Seijen, Hadi Nekoei+2 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics参考文献 19被引用 4

一句话总结

本文提出了局部变化适应遗憾（LoCA regret）这一新度量，通过衡量智能体在局部环境变化下适应速度的快慢，来评估基于模型的强化学习中的行为表现。该方法揭示，即使是最先进的智能体（如MuZero）在适应性方面与最优模型化适应相比仍存在显著差距，尽管其在单任务样本效率方面表现优异，凸显了当前度量手段未能捕捉到的关键适应性缺陷。

ABSTRACT

Deep model-based Reinforcement Learning (RL) has the potential to substantially improve the sample-efficiency of deep RL. While various challenges have long held it back, a number of papers have recently come out reporting success with deep model-based methods. This is a great development, but the lack of a consistent metric to evaluate such methods makes it difficult to compare various approaches. For example, the common single-task sample-efficiency metric conflates improvements due to model-based learning with various other aspects, such as representation learning, making it difficult to assess true progress on model-based RL. To address this, we introduce an experimental setup to evaluate model-based behavior of RL methods, inspired by work from neuroscience on detecting model-based behavior in humans and animals. Our metric based on this setup, the Local Change Adaptation (LoCA) regret, measures how quickly an RL method adapts to a local change in the environment. Our metric can identify model-based behavior, even if the method uses a poor representation and provides insight in how close a method's behavior is from optimal model-based behavior. We use our setup to evaluate the model-based behavior of MuZero on a variation of the classic Mountain Car task.

研究动机与目标

• 为解决缺乏一致、基于行为的度量方法来评估基于模型的强化学习（RL）方法的问题。
• 将基于模型的行为与表示学习或探索等其他因素分离，独立测量其表现。
• 为RL智能体在多大程度上接近最优模型化适应提供定量基准。
• 证明高单任务样本效率并不意味着对环境变化具有强适应能力。
• 为未来开发更具适应性的、基于模型的强化学习智能体以应用于现实世界场景提供指导。

提出的方法

• 设计一个双任务环境设置，其中两个任务仅在状态空间的一个小区域内存在差异，需采用不同的最优策略。
• 将LoCA遗憾定义为从第一项任务切换到第二项任务后，适应阶段累积的遗憾值。
• 使用表格基线方法建立理想基于模型性能的上限，以供比较。
• 将LoCA遗憾度量应用于修改后的Mountain Car环境中，对MuZero和Sarsa(λ)在不同超参数设置下进行评估。
• 通过在环境变化后跟踪遗憾值随时间的变化来衡量适应速度，遗憾值越低表示适应越快、基于模型的行为越强。
• 使用相对增益度量与最优基于模型基线进行性能对比。

实验结果

研究问题

• RQ1 现有深度基于模型的强化学习方法在独立于其单任务样本效率的前提下，对局部环境变化的适应能力如何？
• RQ2 基于适应速度所衡量的基于模型行为，与在标准基准测试中的最先进性能之间存在多大程度的相关性？
• RQ3 像MuZero这样的方法中，哪些超参数或内部设计选择会阻碍其快速适应局部变化？
• RQ4 LoCA遗憾度量是否能可靠地区分基于模型与基于模型自由的行为，即使表示能力较差？
• RQ5 引入在线策略组件在多大程度上影响方法对环境变化的适应能力？

主要发现

• MuZero的LoCA遗憾值（K=3，ε=0.1时为5.93）显著高于最优基于模型基线（1.0），表明其适应能力仍有巨大提升空间。
• 表现最佳的MuZero配置（ε=0.2）的相对增益为3.25，表明其仍与最优基于模型行为相去甚远。
• 将规划深度K从3增加到5虽降低了默认遗憾值，但未改善LoCA遗憾值，表明对适应速度的提升有限。
• 当ε ≥ 0.6时，MuZero无法收敛，表明探索超参数对其学习与适应能力具有决定性影响。
• Sarsa(λ)在LoCA遗憾值上表现欠佳（12.55），证实其为基于模型自由方法，缺乏对环境变化的快速适应能力。
• 结果表明，高单任务样本效率并不意味着具备强基于模型的适应能力，挑战了当前SOTA方法的既有假设。