[论文解读] Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping

Dongruo Zhou, Jiafan He+1 more|arXiv (Cornell University)|Jun 23, 2020

Reinforcement Learning in Robotics参考文献 37被引用 30

一句话总结

本文引入 Upper-Confidence Linear Kernel Reinforcement Learning (UCLK) 算法，用于带折扣的 MDPs，带线性核转移，达到一个遗憾 ð~$\tilde{O}(d\sqrt{T}/(1-\gamma)^2)$，并证明一个匹配的下界，显示近似最优。

ABSTRACT

Modern tasks in reinforcement learning have large state and action spaces. To deal with them efficiently, one often uses predefined feature mapping to represent states and actions in a low-dimensional space. In this paper, we study reinforcement learning for discounted Markov Decision Processes (MDPs), where the transition kernel can be parameterized as a linear function of certain feature mapping. We propose a novel algorithm that makes use of the feature mapping and obtains a $ ilde O(d\sqrt{T}/(1-γ)^2)$ regret, where $d$ is the dimension of the feature space, $T$ is the time horizon and $γ$ is the discount factor of the MDP. To the best of our knowledge, this is the first polynomial regret bound without accessing the generative model or making strong assumptions such as ergodicity of the MDP. By constructing a special class of MDPs, we also show that for any algorithms, the regret is lower bounded by $Ω(d\sqrt{T}/(1-γ)^{1.5})$. Our upper and lower bound results together suggest that the proposed reinforcement learning algorithm is near-optimal up to a $(1-γ)^{-0.5}$ factor.

研究动机与目标

• 通过特征映射在折扣MDP中使RL算法能够扩展到大规模状态/动作空间的动机。
• 研究一个线性核 MDP，其中转移概率在已知特征映射和未知参数下线性依赖。
• 开发一个在线算法，在没有生成模型或遍历性假设的情况下学习近似最优的值函数。
• 给出上界和下界的遗憾界限，以在线性核框架内确立所提方法的最优性。

提出的方法

• 引入 Upper-Confidence Linear Kernel Reinforcement Learning (UCLK) 算法，该算法在自适应长度的时期中运行。
• 在每个时期为未知参数 ða* 形成正则化最小二乘估计。
• 在估计量周围构造置信集合 \mathcal{C}_k 并对 \mathcal{C}_k \cap \mathcal{B} 上进行扩展价值迭代 (EVI) 以得到 Q_k。
• 使用扩展价值迭代通过对置信集合内可行参数进行最大化来计算 Q_k，从而得到近似最优策略。
• 在线更新统计矩阵 \Sigma_t 和 b_t，并在 \Sigma_t 的行列式翻倍时切换时期，以控制切换误差。
• 证明在适当的 \beta 与 U 的选择下，遗憾以高概率满足 \tilde{O}(d sqrt(T)/(1-\gamma)^2)。

实验结果

研究问题

• RQ1 我们是否可以设计在不依赖生成模型或强遍历性假设的情况下，利用特征映射的折扣 MDP 的可证明有效的 RL 算法？
• RQ2 对于使用像 UCLK 这样的置信增强规划方法的线性核 MDP，其遗憾保证是什么？
• RQ3 上/下界在多大程度上接近，以刻画对特征维度 d、时间步长 T 和折扣因子 \gamma 的最优依赖性？

主要发现

• UCLK 达到对线性核 MDP 中的最优值函数学习的遗憾界为 \tilde{O}(d sqrt(T)/(1-\gamma)^2)。
• 该遗憾界与状态和行动空间基数无关，突出其对大规模问题的可扩展性。
• 一个匹配的（与问题相关的）下界表明对任意算法，遗憾至少为 \Omega(d sqrt(T)/(1-\gamma)^{1.5})，除了一个 (1-\gamma)^{-0.5} 的因子。
• 上/下界共同表明在 d 和 T 方面，UCLK 近似最优，并在 \gamma 方面近似最优，至多有一个 (1-\gamma)^{-0.5} 的因子。
• 结果适用于可以表示为基模型线性组合的广义 MDP 类，将若干先前模型统一到线性核 MDP 框架下。