[论文解读] NovGrid: A Flexible Grid World for Evaluating Agent Response to Novelty

Jonathan Balloch, Zhiyu Lin+6 more|arXiv (Cornell University)|Mar 23, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

NovGrid 是一个基于 MiniGrid 构建的灵活网格世界环境，通过动态注入世界机制的变化，实现对强化学习智能体应对新颖性的系统性评估。该框架引入了一套结构化的新颖性本体论，支持可定制的新颖性模板，并提供了指标表明标准 PPO 智能体适应能力差，凸显了改进新颖性适应技术的必要性。

ABSTRACT

A robust body of reinforcement learning techniques have been developed to solve complex sequential decision making problems. However, these methods assume that train and evaluation tasks come from similarly or identically distributed environments. This assumption does not hold in real life where small novel changes to the environment can make a previously learned policy fail or introduce simpler solutions that might never be found. To that end we explore the concept of {\em novelty}, defined in this work as the sudden change to the mechanics or properties of environment. We provide an ontology of for novelties most relevant to sequential decision making, which distinguishes between novelties that affect objects versus actions, unary properties versus non-unary relations, and the distribution of solutions to a task. We introduce NovGrid, a novelty generation framework built on MiniGrid, acting as a toolkit for rapidly developing and evaluating novelty-adaptation-enabled reinforcement learning techniques. Along with the core NovGrid we provide exemplar novelties aligned with our ontology and instantiate them as novelty templates that can be applied to many MiniGrid-compliant environments. Finally, we present a set of metrics built into our framework for the evaluation of novelty-adaptation-enabled machine-learning techniques, and show characteristics of a baseline RL model using these metrics.

研究动机与目标

• 解决强化学习中的关键问题：当测试环境与训练环境因未见新颖性而存在差异时，智能体无法有效应对。
• 在序列决策中建立新颖性的系统性本体论，区分对象新颖性与动作新颖性、一元属性与非一元属性，以及解决方案分布的偏移。
• 开发 NovGrid，作为 MiniGrid 的模块化扩展，可在训练过程中动态注入多样化的新颖性，以模拟现实世界中的环境变化。
• 设计并集成一套全面的评估指标，用于衡量新颖性适应性能，包括适应效率、渐近性能以及一次适应能力。
• 通过评估 PPO 基线模型，验证框架的实用性，揭示在缺乏显式新颖性感知机制的情况下，适应能力存在显著局限。

提出的方法

• 定义序列决策中环境新颖性的新型本体论，按类型（对象 vs. 动作）、属性结构（一元 vs. 非一元）以及对任务解决方案的影响（阻碍 vs. 促进）进行分类。
• 扩展 MiniGrid 环境，引入一个通用的新颖性生成器，通过可配置的环境包装器在运行时修改对象行为（例如，改变钥匙类型或门机制）。
• 实现一组符合本体论的示例新颖性，如 'DoorKeyChange'，其中钥匙的功能从黄色变为蓝色，模拟突发的机械变化。
• 设计一个模块化框架，允许开发者定义自定义的新颖性模板，并在训练过程中指定时间步长注入，实现可重现且可扩展的实验。
• 将一组评估指标集成到 NovGrid 中，包括适应效率（性能恢复所需时间）、渐近适应性能（适应后的最终奖励）和恢复率。
• 利用该框架在受控的新颖性注入条件下评估标准强化学习智能体（如 PPO），测量性能下降与恢复动态。

实验结果

研究问题

• RQ1 不同类型的环境新颖性（尤其是改变对象机制或动作结果的）如何影响智能体维持或恢复任务性能的能力？
• RQ2 标准深度强化学习智能体（如 PPO）在缺乏显式新颖性感知设计的情况下，能在多大程度上适应环境动态的突发、未见变化？
• RQ3 适应效率和渐近性能等指标如何量化智能体在面对新颖性时的鲁棒性与学习速度？
• RQ4 像 NovGrid 这样标准化且可扩展的框架，能否实现跨多种环境的新颖性适应技术的系统性基准测试与比较？
• RQ5 解决方案分布偏移（如更简单路径的出现）在新颖性适应中起什么作用？它们如何被建模与测量？

主要发现

• PPO 基线智能体表现出较差的新颖性适应能力，适应性能在新颖性注入后约 300,000 个时间步才收敛至 0.8 的奖励水平。
• 适应效率较低，表明标准强化学习智能体即使在任务本质不变的情况下，仍需大量额外训练才能从环境变化中恢复。
• 该框架成功证明，钥匙功能的突然变化（如黄色钥匙变为蓝色钥匙）会导致显著的性能下降，证实了此类新颖性在现实世界中的相关性。
• 基线智能体缺乏恢复机制，凸显了当前强化学习方法在新颖性适应方面存在关键局限，强调了开发具备内置新颖性适应能力的新算法的必要性。
• 框架的指标显示，性能下降在新颖性注入后立即发生，且恢复过程缓慢，表明标准探索与学习动态不足以实现稳健适应。
• 结果表明，未来工作应聚焦于提升一次适应能力、加快收敛速度以及在新颖性下实现更高的渐近性能，尤其是在动态、现实世界场景中。