[论文解读] Reinforcement Learning: A Survey

Leslie Pack Kaelbling, Michael L. Littman+1 more|arXiv (Cornell University)|May 1, 1996

Evolutionary Algorithms and Applications参考文献 102被引用 99

一句话总结

这篇开创性综述从计算机科学视角全面概述了强化学习（RL），涵盖马尔可夫决策过程、探索-利用权衡、时序信用分配和函数逼近等基础概念。它整合了Q-learning和TD(λ)等关键算法，强调泛化与层次化学习的作用，并评估了实际挑战与应用，为RL和AI领域的研究人员建立了关键参考。

ABSTRACT

This paper surveys the field of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the field and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but differs considerably in the details and in the use of the word ``reinforcement.'' The paper discusses central issues of reinforcement learning, including trading off exploration and exploitation, establishing the foundations of the field via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.

研究动机与目标

• 为熟悉机器学习的研究人员提供强化学习的全面且易于理解的概述。
• 追溯强化学习的历史发展及其在马尔可夫决策过程中的理论基础。
• 识别并分析强化学习中的核心挑战，包括延迟奖励、部分可观测性以及可扩展性问题。
• 通过案例研究和实际实现的系统，评估当前强化学习方法的实际效用。
• 突出在复杂任务中扩展和偏置强化学习的开放问题与未来研究方向。

提出的方法

• 采用标准的强化学习模型，即智能体通过感知、动作和标量奖励信号与动态环境交互。
• 以马尔可夫决策过程（MDP）理论作为强化学习的正式基础，对状态、动作和奖励进行建模。
• 引入并分析关键算法，如Q-learning、TD(λ)以及自适应启发式评价者，以实现从延迟奖励中学习。
• 强调函数逼近与泛化，以处理大规模或连续的状态-动作空间。
• 提出分层方法与奖励塑形，以提升复杂环境中的样本效率与学习性能。
• 讨论基于模型的方法，通过构建经验模型来加速学习并改进规划能力。

实验结果

研究问题

• RQ1 在动态环境中，智能体如何在探索未知动作与利用已知高回报动作之间取得平衡？
• RQ2 在奖励延迟的情况下，哪些机制能实现有效学习，信用分配问题如何解决？
• RQ3 如何利用泛化与函数逼近将强化学习扩展到大规模或连续的状态空间？
• RQ4 在现实世界的强化学习应用中，哪些策略可缓解部分可观测性与隐藏状态带来的挑战？
• RQ5 通过塑形、局部奖励或问题分解等方式引入偏差，如何提升强化学习的样本效率与可扩展性？

主要发现

• 强化学习最好被理解为一类问题而非固定的技术集合，主要分为两类方法：基于搜索的方法与基于统计/动态规划的方法。
• Q-learning与TD(λ)是有效的无模型算法，可在缺乏完整环境模型的情况下，从延迟奖励中学习最优策略。
• 函数逼近与泛化对于将强化学习扩展到大规模或连续状态空间至关重要，但会引入收敛性与稳定性方面的挑战。
• 部分可观测性与隐藏状态显著增加了学习的复杂性，需要使用信念状态或循环模型等技术。
• 在复杂领域（如机器人控制）的实际成功，通常依赖于引入人工设计的偏差，如奖励塑形、局部奖励或反射机制。
• 尽管理论基础坚实，但当前大多数强化学习技术在缺乏显著归纳偏差或架构创新的情况下，难以扩展到大规模问题。