[论文解读] Towards Continual Reinforcement Learning: A Review and Perspectives

Khimya Khetarpal, Matthew Riemer+2 more|arXiv (Cornell University)|Dec 25, 2020

Viral Infectious Diseases and Gene Expression in Insects被引用 27

一句话总结

本文提出了持续强化学习（CRL）的全面分类法与综述，将强化学习（RL）视为研究终身学习的自然范式，因其具有顺序性与交互性。该文基于作用范围与驱动因素的非平稳性，提出统一框架，回顾关键CRL方法、基准测试与评估指标，并突出CRL与神经科学之间的开放性挑战，推动实现可扩展、自适应的智能体以应对现实世界应用。

ABSTRACT

In this article, we aim to provide a literature review of different formulations and approaches to continual reinforcement learning (RL), also known as lifelong or non-stationary RL. We begin by discussing our perspective on why RL is a natural fit for studying continual learning. We then provide a taxonomy of different continual RL formulations by mathematically characterizing two key properties of non-stationarity, namely, the scope and driver non-stationarity. This offers a unified view of various formulations. Next, we review and present a taxonomy of continual RL approaches. We go on to discuss evaluation of continual RL agents, providing an overview of benchmarks used in the literature and important metrics for understanding agent performance. Finally, we highlight open problems and challenges in bridging the gap between the current state of continual RL and findings in neuroscience. While still in its early days, the study of continual RL has the promise to develop better incremental reinforcement learners that can function in increasingly realistic applications where non-stationarity plays a vital role. These include applications such as those in the fields of healthcare, education, logistics, and robotics.

研究动机与目标

• 通过将非平稳性表征为作用范围与驱动因素属性，建立持续强化学习的统一形式化体系。
• 回顾并分类现有持续RL方法，包括多任务学习、终身学习与永不间断学习等设置。
• 评估当前用于评估持续RL智能体的基准测试与度量指标，强调训练过程中非平稳性的影响。
• 识别持续RL中的开放性问题，并与神经科学发现建立联系，以指导未来研究。
• 为推进在动态环境中具备增量性、泛化性与稳定性的学习智能体，提供结构化基础。

提出的方法

• 通过定义非平稳性的两个关键维度——作用范围（何物改变）与驱动因素（为何改变）——提出持续RL的形式化分类法，实现对多样化设置的统一建模。
• 通过四个假设（确定性策略、状态空间分解、可微奖励、动作无关转移），建立监督持续学习向RL的映射。
• 推导出在未折扣、持续环境且γ → 1极限下，监督学习目标与RL目标的等价性。
• 分析随机梯度下降（SGD）在非平稳设置下的偏差，表明其因缺乏长期目标意识而导致灾难性遗忘。
• 在结构化分类法下回顾现有CRL方法，包括经验回放、正则化、架构扩展与元学习方法。
• 提出基于诱导非平稳性的基准测试的评估框架，例如具有概念漂移或分布偏移的任务流。

实验结果

研究问题

• RQ1 如何基于非平稳性，将持续强化学习统一于单一分类法之下？
• RQ2 持续RL与监督持续学习的关键差异是什么？它们如何通过形式化映射建立关联？
• RQ3 为何标准SGD目标在非平稳环境中不足以支持持续学习？强化学习为何能提供更稳健的框架？
• RQ4 在缓解灾难性遗忘与实现持续技能习得方面，哪些方法家族最为有效？
• RQ5 如何设计评估基准与度量指标，以准确反映在动态、现实世界环境中持续学习的性能？

主要发现

• RL框架可泛化监督学习，并因其顺序性、交互性与在线学习特性，为研究持续学习提供自然基础。
• 持续RL中的非平稳性可形式化分解为作用范围（何物改变）与驱动因素（为何改变），从而实现对多样化问题形式的统一视图。
• 监督学习中的标准SGD偏向当前数据，在非平稳设置下易导致灾难性遗忘，而RL目标可兼顾长期性能。
• 理论分析表明，当γ → 1时，持续RL目标退化为等价于累积损失的监督学习形式，凸显了两种范式之间的联系。
• 当前持续RL基准测试在建模真实非平稳性方面能力有限，亟需更稳健、动态的评估协议。
• 在将持续RL与神经科学中观察到的生物学习机制对齐方面，仍存在重大开放挑战，尤其在持续适应与知识迁移方面。