[论文解读] $\sqrt{n}$-Regret for Learning in Markov Decision Processes with Function Approximation and Low Bellman Rank

Kefan Dong, Jian Peng+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Bandit Algorithms Research参考文献 45被引用 4

一句话总结

本论文提出 AVE（自适应值函数消除），一种用于函数逼近和低贝尔曼秩的马尔可夫决策过程的在线强化学习算法。通过将策略消除重新表述为上下文Bandit问题，并利用主动消除和专家加权技术，AVE 实现了 √n-遗憾，这是首次在具有通用函数逼近的随机MDP中实现此类结果，显著优于先前方法的遗憾界。

ABSTRACT

In this paper, we consider the problem of online learning of Markov decision processes (MDPs) with very large state spaces. Under the assumptions of realizable function approximation and low Bellman ranks, we develop an online learning algorithm that learns the optimal value function while at the same time achieving very low cumulative regret during the learning process. Our learning algorithm, Adaptive Value-function Elimination (AVE), is inspired by the policy elimination algorithm proposed in (Jiang et al., 2017), known as OLIVE. One of our key technical contributions in AVE is to formulate the elimination steps in OLIVE as contextual bandit problems. This technique enables us to apply the active elimination and expert weighting methods from (Dudik et al., 2011), instead of the random action exploration scheme used in the original OLIVE algorithm, for more efficient exploration and better control of the regret incurred in each policy elimination step. To the best of our knowledge, this is the first $\sqrt{n}$-regret result for reinforcement learning in stochastic MDPs with general value function approximation.

研究动机与目标

• 开发一种在具有函数逼近的大状态空间MDP中实现低遗憾的强化学习算法。
• 解决在转移和奖励函数未知的MDP中高效探索的挑战。
• 将先前关于策略消除的工作扩展至通用函数类，以实现 √n-遗憾。
• 通过使用Bernstein风格的统一集中性界，改善遗憾对动作空间大小 A 的依赖性，相较于OLIVE。
• 通过伪维数和Natarajan维数，将算法推广至无限假设空间。

提出的方法

• 将OLIVE中的策略消除步骤重新表述为上下文Bandit问题，以支持主动探索。
• 应用来自上下文Bandit的主动消除和专家加权技术，以减少每个消除阶段的遗憾。
• 使用Bernstein风格的统一集中性定理（引理F.3）控制估计误差，并改善对A的依赖性。
• 采用先前工作中的体积论证方法，经调整以适配函数逼近和低贝尔曼秩。
• 引入优化的参数调度和对值函数类的二分查找，以平衡探索与利用。
• 用基于伪维数和Natarajan维数的界替代有限函数类上的均匀收敛，以处理无限假设空间。

实验结果

研究问题

• RQ1 我们能否在具有通用函数逼近和未知动态的随机MDP中实现 √n-遗憾？
• RQ2 与现有算法（如OLIVE）相比，如何改善遗憾对动作空间大小 A 的依赖性？
• RQ3 我们能否通过统计复杂度度量，将策略消除框架推广至无限假设空间？
• RQ4 上下文Bandit技术在MDP学习过程中实现高效探索中起到什么作用？
• RQ5 Bernstein风格的集中性界能否改善遗憾界，并减少在函数逼近设定下对A的依赖性？

主要发现

• 该算法以高概率实现了 √n-遗憾，这是首次在具有通用函数逼近的随机MDP中实现此类结果。
• 遗憾界为 Õ(√(M²AH⁴(d_Π + d_𝒱)n))，其中 d_Π 和 d_𝒱 分别为策略和值函数类的Natarajan维数和伪维数。
• 得益于引理F.3的使用，遗憾界中对动作空间大小 A 的依赖性从 A² 降低至 A。
• 通过用 d_Π 和 d_𝒱 替代 |ℱ|，算法推广至无限假设空间。
• 实现 ϵ-最优性的样本复杂度为 Õ(M²AH⁴(d_Π + d_𝒱)/ϵ²)，优于OLIVE的 Õ(M²A²H³(d_Π + d_𝒱)/ϵ²)。
• 消除过程被重新解释为上下文Bandit问题，从而支持主动探索并实现更紧密的遗憾控制。