[论文解读] When Is Partially Observable Reinforcement Learning Not Scary?

Qinghua Liu, Alan Chung+2 more|arXiv (Cornell University)|Apr 19, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文引入了弱揭示性POMDP——一种可处理的完全可观测马尔可夫决策过程子类，其中观测提供了足够的信息以实现样本高效的强化学习。本文提出了乐观最大似然估计（OMLE）算法，该算法结合了乐观性与最大似然估计，并证明了在弱揭示性POMDP中学习近似最优策略具有多项式样本复杂度，这是首个针对具有策略性探索的过完备POMDP的可证明高效的成果。

ABSTRACT

Applications of Reinforcement Learning (RL), in which agents learn to make a sequence of decisions despite lacking complete information about the latent states of the controlled system, that is, they act under partial observability of the states, are ubiquitous. Partially observable RL can be notoriously difficult -- well-known information-theoretic results show that learning partially observable Markov decision processes (POMDPs) requires an exponential number of samples in the worst case. Yet, this does not rule out the existence of large subclasses of POMDPs over which learning is tractable. In this paper we identify such a subclass, which we call weakly revealing POMDPs. This family rules out the pathological instances of POMDPs where observations are uninformative to a degree that makes learning hard. We prove that for weakly revealing POMDPs, a simple algorithm combining optimism and Maximum Likelihood Estimation (MLE) is sufficient to guarantee polynomial sample complexity. To the best of our knowledge, this is the first provably sample-efficient result for learning from interactions in overcomplete POMDPs, where the number of latent states can be larger than the number of observations.

研究动机与目标

• 识别POMDP的一个丰富子类，使得在部分可观测性下学习仍具可处理性。
• 通过识别能实现高效学习的结构条件，克服一般POMDP的最坏情况指数级样本复杂度。
• 为过完备POMDP（状态数多于观测数）开发一种通用的、样本高效的算法，具备策略性探索能力。
• 证明在弱揭示性POMDP中，乐观性与最大似然估计的结合可实现多项式样本复杂度。

提出的方法

• 引入弱揭示性条件，要求观测算子在所有时间步的最小奇异值非零。
• 提出OMLE算法，将面对不确定性的乐观性与转移和观测模型的最大似然估计相结合。
• 采用基于模型的方法，其中智能体维护信念分布，并通过收集的轨迹使用最大似然估计进行更新。
• 在值函数估计中采用乐观性以促进探索，确保所有状态-动作对均得到充分探索。
• 应用Courant-Fischer-Weyl极小-极大原理，将观测算子的奇异值与信息揭示能力相关联。
• 通过将观测矩阵的最小奇异值与潜在状态的可区分性相关联，建立样本复杂度边界。

实验结果

研究问题

• RQ1 在POMDP的何种结构条件下，尽管存在部分可观测性，样本高效的强化学习仍可实现？
• RQ2 一种结合乐观性与最大似然估计的通用算法是否可在过完备POMDP中实现多项式样本复杂度？
• RQ3 是否存在一个POMDP子类，其观测信息足够丰富，即使潜在状态数超过观测数，也能实现高效学习？
• RQ4 观测算子的最小奇异值如何与潜在状态的可识别性及样本效率相关联？

主要发现

• 本文证明，弱揭示性POMDP允许学习近似最优策略的多项式样本复杂度。
• OMLE算法在不依赖结构假设（如非完备性）的情况下实现了这种样本效率（即适用于过完备POMDP）。
• OMLE的样本复杂度随状态数、动作数和观测数的多项式增长，且与观测算子的最小奇异值成反比。
• 下界结果表明，对问题参数的多项式依赖是必要的，从而确认了上界结果的紧致性。
• 弱揭示性条件推广并包含了先前的可处理类，如潜在MDP和非完备POMDP。
• 该结果表明，即使在非马尔可夫、部分可观测的设置下，乐观性仍是探索的强大工具。