[论文解读] RL for Latent MDPs: Regret Guarantees and a Lower Bound

Jeongyeol Kwon, Yonathan Efroni+2 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics参考文献 3被引用 7

一句话总结

本文为潜在马尔可夫决策过程（LMDPs）中的强化学习建立了基本的样本复杂度和遗憾界限，其中真实MDP不可观测，并从M个可能的MDP中抽取。研究证明，对于一般LMDP，需要Ω((SA)^M)个episode才能实现指数级下界，但在MDP之间具有充分分离性或满足统计充分性和可达性假设时，可实现多项式样本复杂度和次线性遗憾，从而在无需良好初始化的情况下实现高效学习。

ABSTRACT

In this work, we consider the regret minimization problem for reinforcement learning in latent Markov Decision Processes (LMDP). In an LMDP, an MDP is randomly drawn from a set of $M$ possible MDPs at the beginning of the interaction, but the identity of the chosen MDP is not revealed to the agent. We first show that a general instance of LMDPs requires at least $Ω((SA)^M)$ episodes to even approximate the optimal policy. Then, we consider sufficient assumptions under which learning good policies requires polynomial number of episodes. We show that the key link is a notion of separation between the MDP system dynamics. With sufficient separation, we provide an efficient algorithm with local guarantee, {\it i.e.,} providing a sublinear regret guarantee when we are given a good initialization. Finally, if we are given standard statistical sufficiency assumptions common in the Predictive State Representation (PSR) literature (e.g., Boots et al.) and a reachability assumption, we show that the need for initialization can be removed.

研究动机与目标

• 理解在潜在MDP（LMDPs）中强化学习的基本样本复杂度和遗憾界限，其中真实MDP不可观测且从有限集合中抽取。
• 识别在潜在MDP中实现高效学习（即多项式样本复杂度和次线性遗憾）的条件。
• 通过引入统计充分性和可达性假设，消除潜在MDP学习中对良好初始化的需求。
• 弥合理论强化学习与多任务RL、上下文MDP和迁移学习等实际场景之间的差距，这些场景中潜在上下文普遍存在。

提出的方法

• 证明在一般LMDP中，即使对于确定性MDP，近似最优策略也需要Ω((SA)^M)个episode，从而确立了与上下文数M的指数依赖关系。
• 引入MDP系统动态之间‘分离’的概念作为关键条件，通过一种新颖的基于乐观性的算法，在部分可观测设置下实现多项式样本复杂度和次线性遗憾。
• 将不确定性下的乐观原则（如UCB）适应到潜在MDP设置中，由于状态不可观测，价值迭代和UCRL无法直接应用。
• 提出一种基于谱学习的算法，利用奇异值分解和矩阵扰动理论（Davis-Kahn定理）从轨迹中估计MDP动态。
• 利用预测状态表示（PSR）假设——如统计充分性和观测模型的满秩性——以消除对良好初始化的需求。
• 采用规划-预言机框架，结合轨迹聚类和置信区间，在部分可观测条件下平衡探索与利用。

实验结果

研究问题

• RQ1 当真实MDP不可观测时，潜在MDP中学习的基本样本复杂度是什么？
• RQ2 在诸如MDP动态之间存在分离性的温和结构假设下，是否可以在LMDP中实现次线性遗憾？
• RQ3 在PSR文献中常见的标准统计假设下，是否可以消除潜在MDP学习中对良好初始化的需求？
• RQ4 时域长度如何影响短时域LMDP中的学习策略和样本复杂度？
• RQ5 谱学习和矩阵扰动理论在从部分观测中估计潜在MDP动态中起什么作用？

主要发现

• 本文建立了在一般LMDP中近似最优策略所需的Ω((SA)^M)个episode的下界，表明在无额外假设下多项式样本复杂度是不可能的。
• 在MDP动态之间具有充分分离性时，本文提出了一种高效算法，即使在初始状态较差的情况下也能实现次线性遗憾保证。
• 在统计充分性假设（PSR文献中常见）和可达性条件下，完全消除了对初始化的需求，从而实现从初始阶段起的次线性遗憾。
• 所提算法利用谱学习和矩阵扰动理论来估计潜在MDP参数，在有界噪声下对奇异值和子空间估计具有理论保证。
• 在小规模问题上的实验评估证实了假设的重要性——尤其是分离性和统计充分性——对于实现良好的样本效率和遗憾性能至关重要。
• 理论分析表明，MDP参数的估计误差随episode数减少，且在所提假设下遗憾界限呈次线性增长。