[论文解读] Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs with a Generative Model

Bingyan Wang, Yuling Yan+1 more|PubMed|May 28, 2021

Reinforcement Learning in Robotics参考文献 65被引用 6

一句话总结

本文提出了一种基于生成模型的样本高效强化学习方法，用于线性参数化的马尔可夫决策过程（MDPs）。通过利用具有 $ K $-维状态-动作特征的基于特征的线性转移模型，该研究证明了基于模型的强化学习与普通Q-learning分别实现 $ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $ 和 $ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $ 的样本复杂度边界，这些边界在理论上是紧致的，且不依赖于状态空间和动作空间的大小。

ABSTRACT

The curse of dimensionality is a widely known issue in reinforcement learning (RL). In the tabular setting where the state space <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>S</mml:mi></mml:math> and the action space <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>A</mml:mi></mml:math> are both finite, to obtain a nearly optimal policy with sampling access to a generative model, the minimax optimal sample complexity scales linearly with <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mo>|</mml:mo> <mml:mi>S</mml:mi> <mml:mo>|</mml:mo> <mml:mo>×</mml:mo> <mml:mo>|</mml:mo> <mml:mi>A</mml:mi> <mml:mo>|</mml:mo></mml:mrow> </mml:math> , which can be prohibitively large when <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>S</mml:mi></mml:math> or <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>A</mml:mi></mml:math> is large. This paper considers a Markov decision process (MDP) that admits a set of state-action features, which can linearly express (or approximate) its probability transition kernel. We show that a model-based approach (resp. Q-learning) provably learns an <i>ε</i>-optimal policy (resp. Q-function) with high probability as soon as the sample size exceeds the order of <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:mfrac><mml:mi>K</mml:mi> <mml:mrow> <mml:msup><mml:mrow><mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>-</mml:mo> <mml:mi>γ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> <mml:mn>3</mml:mn></mml:msup> <mml:msup><mml:mi>ε</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> </mml:mfrac> <mml:mrow><mml:mo>(</mml:mo> <mml:mrow><mml:mtext>resp</mml:mtext> <mml:mo>.</mml:mo> <mml:mspace></mml:mspace> <mml:mfrac><mml:mi>K</mml:mi> <mml:mrow> <mml:msup><mml:mrow><mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>-</mml:mo> <mml:mi>γ</mml:mi> <mml:mo>)</mml:mo></mml:mrow> <mml:mn>4</mml:mn></mml:msup> <mml:msup><mml:mi>ε</mml:mi> <mml:mn>2</mml:mn></mml:msup> </mml:mrow> </mml:mfrac> </mml:mrow> <mml:mo>)</mml:mo></mml:mrow> </mml:mrow> </mml:math> , up to some logarithmic factor. Here <i>K</i> is the feature dimension and <i>γ</i> ∈ (0, 1) is the discount factor of the MDP. Both sample complexity bounds are provably tight, and our result for the model-based approach matches the minimax lower bound. Our results show that for arbitrarily large-scale MDP, both the model-based approach and Q-learning are sample-efficient when <i>K</i> is relatively small, and hence the title of this paper.

研究动机与目标

• 为解决强化学习中的维度灾难问题，特别是在状态空间和动作空间较大或无限时。
• 研究在生成模型下，基于线性转移模型的基于模型强化学习与Q-learning的样本效率。
• 在高维MDP中，为学习 $ \varepsilon $-最优策略与Q函数建立紧致的样本复杂度边界。
• 证明样本复杂度仅依赖于特征维度 $ K $，而非 $ |\mathcal{S}| \times |\mathcal{A}| $，在满足线性转移假设时。
• 证明基于模型方法在样本复杂度上达到极小极大最优性，而Q-learning在样本复杂度上接近最优。

提出的方法

• 本文假设线性转移模型，其中转移核 $ \mathbb{P}(\cdot|s,a) $ 由 $ K $-维特征向量 $ \phi(s,a) $ 线性参数化，且未知矩阵 $ \Psi \in \mathbb{R}^{|Σ| \times K} $。
• 使用生成模型收集样本，并基于此构建经验MDP以支持基于模型的规划。
• 对于基于模型的强化学习，其在经验MDP上执行值迭代以计算 $ \varepsilon $-最优策略。
• 对于Q-learning，其应用标准Q-learning更新并结合探索策略，利用留一法技术进行收敛性分析。
• 采用留一法分析以控制线性模型中的估计误差，并推导出策略与Q函数精度的高概率边界。
• 证明基于模型的强化学习样本复杂度为 $ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $，Q-learning为 $ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $，与极小极大下界在对数因子内一致。

实验结果

研究问题

• RQ1 在生成模型下，基于模型的强化学习在参数化线性MDP中的样本复杂度是多少？
• RQ2 Q-learning在此设置下能否实现样本效率？其样本复杂度与极小极大下界相比如何？
• RQ3 样本复杂度是否依赖于状态空间和动作空间的大小，还是仅依赖于特征维度 $ K $？
• RQ4 线性转移模型结构如何降低大规模或无限MDP的有效复杂度？
• RQ5 所提出的基于模型方法在样本复杂度上是否达到极小极大最优？

主要发现

• 基于模型的强化学习方法以高概率使用 $ \widetilde{O}(K / (1-\gamma)^3\varepsilon^2) $ 个样本即可获得 $ \varepsilon $-最优策略，其复杂度与极小极大下界在对数因子内一致。
• Q-learning可证明地使用 $ \widetilde{O}(K / (1-\gamma)^4\varepsilon^2) $ 个样本学习到逐元素 $ \varepsilon $-最优的Q函数，优于先前结果。
• 样本复杂度独立于 $ |\mathcal{S}| $ 与 $ |\mathcal{A}| $，仅依赖于特征维度 $ K $，从而在大规模MDP中实现样本效率。
• 基于模型的方法达到极小极大最优，而Q-learning的样本复杂度具有 $ (1-\gamma)^{-4} $ 依赖性，该依赖性已被现有下界证明为紧致。
• 结果在生成模型假设下成立，且假设线性转移模型具有 $ K $-维特征，该设定推广了表格型与同质MDP。
• 分析依赖于一种新颖的留一法技术，以控制线性模型中的估计误差，从而实现策略与Q函数精度的紧致高概率边界。