[论文解读] On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning

Che Wang, Keith W. Ross+2 more|arXiv (Cornell University)|Feb 10, 2020

Reinforcement Learning in Robotics参考文献 9被引用 5

一句话总结

本文建立了蒙特卡洛探索起点（MCES）算法在最优策略前馈马尔可夫决策过程（MDPs）中的几乎必然收敛性，其中在最优策略下状态不会被重复访问。通过一种基于大数定律的新型归纳方法，该文在无需均匀探索或折扣回报的前提下证明了收敛性，解决了强化学习中一大类回合制环境长期存在的理论难题。

ABSTRACT

A simple and natural algorithm for reinforcement learning (RL) is Monte Carlo Exploring Starts (MCES), where the Q-function is estimated by averaging the Monte Carlo returns, and the policy is improved by choosing actions that maximize the current estimate of the Q-function. Exploration is performed by "exploring starts", that is, each episode begins with a randomly chosen state and action, and then follows the current policy to the terminal state. In the classic book on RL by Sutton & Barto (2018), it is stated that establishing convergence for the MCES algorithm is one of the most important remaining open theoretical problems in RL. However, the convergence question for MCES turns out to be quite nuanced. Bertsekas & Tsitsiklis (1996) provide a counter-example showing that the MCES algorithm does not necessarily converge. Tsitsiklis (2002) further shows that if the original MCES algorithm is modified so that the Q-function estimates are updated at the same rate for all state-action pairs, and the discount factor is strictly less than one, then the MCES algorithm converges. In this paper we make headway with the original and more efficient MCES algorithm given in Sutton & Barto (1998), establishing almost sure convergence for Optimal Policy Feed-Forward MDPs, which are MDPs whose states are not revisited within any episode when using an optimal policy. Such MDPs include a large class of environments such as all deterministic environments and all episodic environments with a timestep or any monotonically changing values as part of the state. Different from the previous proofs using stochastic approximations, we introduce a novel inductive approach, which is very simple and only makes use of the strong law of large numbers.

研究动机与目标

• 为解决强化学习中MCES收敛性这一长期悬而未决的问题，特别是原始版本更高效算法的收敛性问题。
• 在最小假设下建立收敛性，避免对均匀探索或严格折扣回报的依赖。
• 提供一种简洁的归纳证明技术，避免使用复杂的随机逼近理论。
• 刻画一个广泛的MDP类别——最优策略前馈MDP——在该类MDP中MCES几乎必然收敛。
• 通过识别MCES收敛失败的条件，明确MCES的理论局限性，尽管其直观上具有吸引力。

提出的方法

• 提出一种新颖的归纳证明框架，仅依赖大数定律，避免使用随机逼近技术。
• 通过跟踪不同初始状态-动作对下Q值估计的演化，分析其在各轮次中向期望回报的收敛过程。
• 在Q值空间中定义区域（如R1、R2、T3、T4），以追踪学习迭代过程中的策略与值函数动态。
• 使用样本回报期望（如−μ₁、−μ₂、−μ₃）来建模Q估计在重复探索起点下的长期行为。
• 证明当每个状态-动作对被无限次访问时，Q值收敛到其期望回报，从而确保策略稳定性。
• 采用对初始状态-动作对的循环探索策略，确保所有对均被无限次更新，从而实现收敛。

实验结果

研究问题

• RQ1 原始蒙特卡洛探索起点（MCES）算法在无需均匀探索或折扣回报的前提下，是否对一大类MDP实现几乎必然收敛？
• RQ2 能否基于大数定律的简单归纳证明，替代复杂随机逼近方法来证明MCES的收敛性？
• RQ3 MCES在何种MDP结构下会失效收敛？何种结构特性（如状态重复访问）会导致这种失效？
• RQ4 在最优策略不重复访问状态的回合制环境中，MCES的收敛是否可能？
• RQ5 在每轮仅更新一个Q值的情况下，何种条件可确保Q值估计稳定且策略收敛？

主要发现

• MCES算法在最优策略前馈MDP中几乎必然收敛，其中在最优策略下无状态被重复访问。
• 该证明仅依赖大数定律，无需使用随机逼近或均匀探索。
• 当最优策略下发生状态重复访问时，MCES会失效收敛，反例显示Q值更新中存在循环行为。
• 当某一状态-动作对作为初始状态-动作对被无限次选择时，其Q值收敛到期望蒙特卡洛回报。
• 仅当Q值收敛且不再发生策略改进时，策略才稳定，这在所研究的MDP类中可保证。
• 该证明表明，Q值空间中区域间的振荡无法无限持续，从而确保最终收敛到稳定估计。