[论文解读] Provably Efficient Reinforcement Learning with Aggregated States

Shi Dong, Benjamin Van Roy+1 more|arXiv (Cornell University)|Dec 13, 2019

Reinforcement Learning in Robotics参考文献 22被引用 12

一句话总结

该论文提出了一种适用于固定时域 episodic MDP 的乐观 Q-learning 算法，采用聚合状态，实现了 $\tilde{\mathcal{O}}(\sqrt{H^5MK} + \epsilon HK)$ 的遗憾界，其中 $H$ 为时域长度，$M$ 为聚合状态数，$K$ 为 episode 数，$\epsilon$ 为聚合状态内最优值的最大差异。该界不依赖于完整状态和动作空间的大小，并表明渐近每周期遗憾最多为 $\epsilon$，这是首个在无转移动态结构假设下实现该结果的工作。

ABSTRACT

We establish that an optimistic variant of Q-learning applied to a fixed-horizon episodic Markov decision process with an aggregated state representation incurs regret $ ilde{\mathcal{O}}(\sqrt{H^5 M K} + εHK)$, where $H$ is the horizon, $M$ is the number of aggregate states, $K$ is the number of episodes, and $ε$ is the largest difference between any pair of optimal state-action values associated with a common aggregate state. Notably, this regret bound does not depend on the number of states or actions and indicates that asymptotic per-period regret is no greater than $ε$, independent of horizon. To our knowledge, this is the first such result that applies to reinforcement learning with nontrivial value function approximation without any restrictions on transition probabilities.

研究动机与目标

• 开发一种基于状态聚合的可证明高效的强化学习算法，避免对完整状态和动作空间大小的依赖。
• 建立一个在环境转移动态无结构假设下依然成立的遗憾界。
• 证明渐近每周期遗憾被 $\\epsilon$ 限制，即聚合状态内最优值的最大差异。
• 将先前基于表格的 Q-learning 保证扩展至通过聚合实现值函数近似，同时保持理论效率。

提出的方法

• 该算法使用 Q-learning 的乐观变体，维护 Q 值的置信上限，通过基于访问次数 $j$ 的 $\beta / \sqrt{j}$ 项引入不确定性。
• 通过将状态-动作对划分为 $M$ 个聚合状态来实现状态聚合，假设每个单元内最优值恒定。
• 分析采用阶段间的递归误差分解，将第 $h$ 阶段的策略误差与第 $h+1$ 阶段的误差关联，利用贝尔曼更新的结构。
• 定义了一个高概率事件 $\mathcal{E}_{\rm opt}$ 以控制估计误差，确保遗憾界以高概率成立。
• 证明依赖于对由转移和值估计误差引起的鞅差序列的有界性。
• 结合柯西-施瓦茨不等式与求和不等式，将总遗憾界表示为 $\sum_{k,h} 1/\sqrt{\hat{n}_h^k}$ 的形式，从而得出 $\tilde{\mathcal{O}}(\sqrt{H^5MK})$。

实验结果

研究问题

• RQ1 一种带有聚合状态的乐观 Q-learning 算法能否实现不依赖于完整状态和动作空间大小的遗憾？
• RQ2 当对环境转移核不作任何结构假设时，带有聚合状态的 Q-learning 的最紧可能遗憾界是什么？
• RQ3 代理的性能损失与 $\epsilon$（即聚合状态内最优值的最大差异）有何关系？
• RQ4 该算法是否实现了 $O(\epsilon)$ 每周期遗憾，而非先前方法中观察到的 $O(\epsilon H)$ 损失？

主要发现

• 所提出的算法实现了 $\tilde{\mathcal{O}}(\sqrt{H^5MK} + \epsilon HK)$ 的遗憾界，且不依赖于状态数和动作数。
• 渐近每周期遗憾被 $\epsilon$ 限制，表明由于值函数近似带来的性能损失极小，且不随时域长度增长。
• 该结果在无任何转移动态结构假设下成立，与先前需要低秩或确定性转移的工作不同。
• 分析表明，访问次数的平方根倒数之和被有界为 $\tilde{\mathcal{O}}(\sqrt{H^2MK})$，这是推导最终遗憾界的关键。
• 该方法优于先前遗憾界为 $O(\epsilon H)$ 的结果，实现了更紧的 $O(\epsilon)$ 绑定。
• 这是首个在无转移核限制下，对非平凡值函数近似实现 $O(\epsilon)$ 每周期遗憾的遗憾界。