[论文解读] Reinforcement Learning Textbook

Sergey V. Ivanov|arXiv (Cornell University)|Jan 19, 2022

Evolutionary Algorithms and Applications被引用 5

一句话总结

本书教科书以统一的、理论驱动的方式介绍了强化学习，通过一致的符号和证明系统地推导出从表格方法到深度强化学习的关键算法。它通过对比值函数方法、策略梯度方法和基于模型的方法，强调了概念性理解，重点说明了每种算法为何以特定方式构建。

ABSTRACT

This textbook covers principles behind main modern deep reinforcement learning algorithms that achieved breakthrough results in many domains from game AI to robotics. All required theory is explained with proofs using unified notation and emphasize on the differences between different types of algorithms and the reasons why they are constructed the way they are.

研究动机与目标

• 通过使用一致的符号和严格的证明，统一并系统化强化学习的理论，呈现核心算法。
• 解释主要强化学习算法的设计原理，阐明其具体形式的成因。
• 弥合经典表格强化学习与现代深度强化学习方法之间的鸿沟，涵盖基于值函数、策略梯度和连续控制的方法。
• 为模仿学习、内在动机和层次化强化学习等高级主题提供结构化基础。
• 通过将不同来源的洞见整合到一个统一、连贯的框架中，为研究人员提供全面的参考。

提出的方法

• 以马尔可夫决策过程（MDPs）作为所有强化学习问题的形式基础，统一定义状态、动作、奖励和策略。
• 通过动态规划推导经典表格算法（如值迭代、策略迭代），并证明其收敛性和最优性。
• 通过使用深度神经网络的函数逼近，将表格方法扩展到函数逼近，引入DQN及其变体，结合经验回放和目标网络。
• 应用策略梯度定理推导在线策略算法（如REINFORCE和TRPO），使用随机梯度估计进行策略优化。
• 引入连续控制算法（如DDPG和SAC），结合演员-评论家框架、离策略学习和熵正则化。
• 通过学习世界动态，探索基于模型的强化学习，结合无模型规划（如MCTS）和世界模型，实现样本高效的决策。

实验结果

研究问题

• RQ1 为何基于值函数和策略梯度方法在优化目标和训练动态上存在差异？
• RQ2 深度强化学习算法中的架构选择（如目标网络、熵正则化）如何提升稳定性和样本效率？
• RQ3 基于模型的方法相较于无模型方法在降低样本复杂度方面有何优势？
• RQ4 深度Q学习和策略梯度算法的收敛性存在哪些理论保证？
• RQ5 内在动机和层次化结构如何实现泛化和零样本任务迁移？

主要发现

• 该教科书建立了一个统一的理论框架，使用一致的符号和证明，将经典MDP理论与现代深度强化学习算法联系起来。
• 研究表明，基于值函数和策略梯度的方法可被视为同一基础迭代策略改进过程的近似。
• 分析表明，DQN和SAC等离策略深度强化学习算法通过结合经验回放、目标网络和熵正则化，实现了最先进性能。
• 理论推导证实了在标准假设下，表格Q学习和策略迭代的收敛性，为深度强化学习的扩展提供了基础。
• 基于模型的方法（如世界模型和MCTS）通过学习预测性世界动态，实现了样本高效的规划。
• 内在动机与层次化结构的结合使智能体能够自主发现并求解子任务，从而提升在不同环境中的泛化能力。