[论文解读] Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity

Ali̇ Devran Kara, Naci Saldı+1 more|arXiv (Cornell University)|Nov 12, 2021

Reinforcement Learning in Robotics被引用 8

一句话总结

该论文通过在转移核弱连续性条件下采用量化方法，建立了具有通用（标准博雷尔）状态空间和动作空间的马尔可夫决策过程（MDPs）中Q-learning的收敛性与近似最优性。证明了量化Q-learning收敛至满足最优性方程的极限，并在温和正则性条件下给出了渐近最优的显式性能界。

ABSTRACT

Reinforcement learning algorithms often require finiteness of state and action spaces in Markov decision processes (MDPs) (also called controlled Markov chains) and various efforts have been made in the literature towards the applicability of such algorithms for continuous state and action spaces. In this paper, we show that under very mild regularity conditions (in particular, involving only weak continuity of the transition kernel of an MDP), Q-learning for standard Borel MDPs via quantization of states and actions (called Quantized Q-Learning) converges to a limit, and furthermore this limit satisfies an optimality equation which leads to near optimality with either explicit performance bounds or which are guaranteed to be asymptotically optimal. Our approach builds on (i) viewing quantization as a measurement kernel and thus a quantized MDP as a partially observed Markov decision process (POMDP), (ii) utilizing near optimality and convergence results of Q-learning for POMDPs, and (iii) finally, near-optimality of finite state model approximations for MDPs with weakly continuous kernels which we show to correspond to the fixed point of the constructed POMDP. Thus, our paper presents a very general convergence and approximation result for the applicability of Q-learning for continuous MDPs.

研究动机与目标

• 将Q-learning的收敛性与最优性保证扩展至具有连续（标准博雷尔）状态空间和动作空间的MDP。
• 解决在一般条件下，连续MDP中Q-learning缺乏严格收敛性与近似界的问题。
• 证明在转移核弱连续性条件下，量化Q-learning可产生近似最优策略，并给出显式误差界。
• 通过将量化MDP视为POMDP，将有限时域Q-learning理论与连续MDP相连接，利用POMDP收敛结果。

提出的方法

• 将状态与动作的量化视为一种观测核，将量化MDP转化为部分可观察MDP（POMDP）。
• 将已知的POMDP中Q-learning的收敛性与近似最优性结果应用于量化系统。
• 利用POMDP公式化的不动点，证明量化值函数可近似真实最优值函数。
• 利用转移核的弱连续性，确保在量化下近似过程的稳定性和收敛性。
• 通过最优值函数的Lipschitz连续性与代价函数的有界性，推导出显式性能界。
• 综合量化误差、转移核近似误差与值函数迭代误差，推导出总误差界。

实验结果

研究问题

• RQ1 在转移核弱连续性条件下，能否严格证明连续状态与动作空间MDP中Q-learning的收敛性？
• RQ2 通过量化方法应用于连续MDP时，Q-learning的性能保证（如误差界）可建立为何种形式？
• RQ3 在最优性与收敛性方面，量化MDP公式与原始MDP之间有何关系？
• RQ4 在何种条件下，量化Q-learning策略可实现渐近最优性？
• RQ5 能否显式地界定真实最优值函数与量化Q-learning结果之间的近似误差？

主要发现

• 在转移核弱连续性条件下，量化MDP的Q-learning收敛至满足最优性方程的极限。
• 原始MDP的最优值函数被量化Q-learning结果近似，其误差界为 $ \frac{\alpha_{c}}{(1-\beta\alpha_{T})(1-\beta)}\bar{L} $，其中 $ \alpha_{c} $、$ \alpha_{T} $ 与 $ \bar{L} $ 分别为量化与Lipschitz参数。
• 由量化Q-learning导出的策略与最优策略之间的性能差距被限制在 $ \frac{2\alpha_{c}}{(1-\beta)^2(1-\beta\alpha_{T})}\bar{L} $ 以内。
• 最优值函数 $ J^{*}_{\beta} $ 被证明为Lipschitz连续，其Lipschitz常数满足 $ \|J^{*}_{\beta}\|_{L} \leq \frac{\alpha_{c}}{1-\beta\alpha_{T}} $，从而支持误差传播分析。
• 该方法实现了渐近最优性：随着量化粒度不断细化，性能差距趋于消失。
• 该框架通过将量化视为POMDP，统一了有限时域Q-learning收敛性与连续MDP，实现了严格的误差分析。