[论文解读] On the Optimality of Sparse Model-Based Planning for Markov Decision Processes.

Alekh Agarwal, Sham M. Kakade+1 more|arXiv (Cornell University)|Jun 10, 2019

Machine Learning and Algorithms被引用 13

一句话总结

本文通过使用生成模型，在折扣的马尔可夫决策过程（MDP）中建立了基于稀疏模型的规划方法的极小极大最优性。通过构建一种新颖的吸收性MDP，证明了从N个样本构建的经验MDP中获得的高精度策略，必然是真实MDP中的ϵ-最优策略，从而解决了长期存在的开放性问题，并表明基于模型的方法可以达到与无模型方法相当的最佳非渐近样本复杂度。

ABSTRACT

This work considers the sample complexity of obtaining an $\epsilon$-optimal policy in a discounted Markov Decision Process (MDP), given only access to a generative model. In this model, the learner accesses the underlying transition model via a sampling oracle that provides a sample of the next state, when given any state-action pair as input. In this work, we study the effectiveness of the most natural approach to model-based planning: we build the maximum likelihood estimate of the transition model in the from observations and then find an optimal policy in this empirical MDP. We ask arguably the most basic and unresolved question in model-based planning: is the naive plug-in approach, non-asymptotically, minimax optimal in the quality of the policy it finds, given a fixed sample size? With access to a generative model, we resolve this question in the strongest possible sense: our main result shows that \emph{any} high accuracy solution in the model constructed with $N$ samples, provides an $\epsilon$-optimal policy in the true underlying MDP. In comparison, all prior (non-asymptotically) minimax optimal results use model-free approaches, such as the Variance Reduced Q-value iteration algorithm (Sidford et al 2018), while the best known model-based results (e.g. Azar et al 2013) require larger sample sample sizes in their dependence on the planning horizon or the state space. Notably, we show that the model-based approach allows the use of \emph{any} efficient planning algorithm in the empirical MDP, which simplifies the algorithm design as this approach does not tie the algorithm to the sampling procedure. The core of our analysis is a novel absorbing MDP construction to address the statistical dependency issues that arise in the analysis of model-based planning approaches, a construction which may be helpful more generally.

研究动机与目标

• 解决在有限样本设置下，朴素的插值模型化规划方法是否为极小极大最优的问题。
• 弥合基于模型与无模型方法在获取ϵ-最优策略的样本复杂度方面的差距。
• 证明在N个样本上训练的任何高效规划算法，若在经验MDP中运行，均可在真实MDP中获得ϵ-最优策略。
• 通过一种新颖的MDP构造，解决模型化规划分析中的统计依赖性问题。
• 表明模型化规划可实现与最先进无模型算法相同的非渐近样本复杂度。

提出的方法

• 构建吸收性MDP，以解耦模型化规划分析中的统计依赖性。
• 使用生成模型收集每个状态-动作对的N个样本，并构建转移模型的最大似然估计。
• 在经验MDP上应用任意高效规划算法以计算策略。
• 通过一种新颖的集中性论证，证明经验MDP中的任何ϵ-最优策略在真实MDP中亦为ϵ-最优。
• 利用吸收性MDP构造，限制从模型估计到策略性能的误差传播。
• 通过证明样本量依赖关系与信息论下界一致，建立极小极大最优性。

实验结果

研究问题

• RQ1 在有限样本设置下，插值模型化规划方法是否为极小极大最优？
• RQ2 模型化规划能否实现与无模型方法相同的非渐近样本复杂度？
• RQ3 在分析模型化规划时会遇到哪些统计挑战，如何克服？
• RQ4 使用从N个样本构建的经验MDP，是否能保证在真实MDP中获得ϵ-最优策略？
• RQ5 是否可以无损样本复杂度地在经验MDP中使用通用规划算法？

主要发现

• 所提出的模型化方法在折扣MDP中实现获取ϵ-最优策略的极小极大最优样本复杂度。
• 只要使用N个样本，经验MDP中计算出的任何高精度策略，都可保证在真实MDP中为ϵ-最优。
• 该方法与无模型算法（如方差缩减Q值迭代）的最佳已知非渐近样本复杂度一致。
• 吸收性MDP构造成功解决了模型化规划分析中的统计依赖性问题。
• 该方法允许在经验MDP中使用任意高效规划算法，简化了算法设计。
• 结果表明，模型化规划不仅实用，且在非渐近范围内具有信息论最优性。