[论文解读] Reinforcement Learning: An Overview

Kevin J. Murphy|arXiv (Cornell University)|Dec 6, 2024

Reinforcement Learning in Robotics被引用 10

一句话总结

本文对强化学习（RL）进行了全面的综述，勾勒出通用建模、RL 的表述、标准问题类型，以及主要的 RL 方法（基于价值、基于策略和基于模型），并讨论探索、部分可观测性及相关优化概念。

ABSTRACT

This manuscript gives a big-picture, up-to-date overview of the field of (deep) reinforcement learning and sequential decision making, covering value-based methods, policy-based methods, model-based methods, multi-agent RL, LLMs and RL, and various other topics (e.g., offline RL, hierarchical RL, intrinsic reward). It also includes some code snippets for training LLMs with RL.

研究动机与目标

• 定义序列决策问题和通用的 RL 建模框架。
• 提出典型的 RL 环境与问题变体（MDP、POMDP、情境性 MDP、带区间的多臂带等）。
• 按基于价值、基于策略、基于模型的方法对 RL 方法进行分类，并讨论关键算法。
• 讨论探索-利用的策略及其理论含义（后悔、UCB、Thompson 采样）。
• 提供与相关领域的联系（贝叶斯推断、优化和控制），并勾勒实际考虑因素（信念状态、世界模型）。

提出的方法

• 引入一个通用的智能体-环境框架，含状态 s_t、动作 a_t、观测 o_{t+1}，并更新 U 与预测 P 以形成 s_{t+1}=SU(s_t,a_t,o_{t+1})。
• 区分情节性任务与连续任务并定义回报 G_t 和 值 V_\
• research_questions

Figure 1.1 : A small agent interacting with a big external world.

实验结果

研究问题

• RQ1 RL 的基本问题表述与通用建模假设是什么？
• RQ2 各种 RL 范式（MDP、POMDP、情境性 MDP/带上下文的多臂带等）在结构和解法上有何差异？
• RQ3 RL 方法的主要类别及其代表性算法是什么，它们的优点与局限性如何？
• RQ4 在 RL 中应如何处理探索-利用问题，包括贝叶斯与频率学派视角？
• RQ5 部分可观测性、信念状态与世界模型如何影响 RL 策略与性能？

主要发现

• RL 可以在一个通用的、部分可观测的、概率性互动模型框架下被表征（智能体与环境之间的互动）。
• 基于价值、基于策略和基于模型的 RL 覆盖了学习最优策略的互补解决方案。
• 探索-利用权衡可以通过后悔及各种策略（UCB、Thompson 采样等）进行分析。
• 信念状态和世界模型的视角为处理部分可观测性和模型不确定性提供了原则性的方法。
• 综述勾画了典型模型（MDPs、POMDPs、情境变体），并将 RL 与相关领域如贝叶斯推断和控制理论联系起来。
• 该文献综述了核心 RL 方法和实际考量，为跨章节的深入研究奠定基础。

Figure 1.2 : Diagram illustrating the interaction of the agent and environment. The agent has internal state $s_{t}$ , and chooses action $a_{t}$ based on its policy $\pi_{t}$ . It then predicts its next internal states, $s_{t+1|t}$ , via the predict function $P$ , and optionally predicts the result