[论文解读] Provably Efficient Q-Learning with Low Switching Cost

Yu Bai, Tengyang Xie+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research被引用 22

一句话总结

本文提出了一种基于UCB2探索的Q-Learning算法，这是一种针对H步回合式MDP的无模型强化学习算法，在K个回合中实现了次线性遗憾，且局部切换成本为$O(H^3SA\log K)$。该工作建立了$Ω(HSA)$的匹配下界，证明了在自适应性方面近乎最优，并自然地扩展到并发设置，在性能上有所提升。

ABSTRACT

We take initial steps in studying PAC-MDP algorithms with limited adaptivity, that is, algorithms that change its exploration policy as infrequently as possible during regret minimization. This is motivated by the difficulty of running fully adaptive algorithms in real-world applications (such as medical domains), and we propose to quantify adaptivity using the notion of \emph{local switching cost}. Our main contribution, Q-Learning with UCB2 exploration, is a model-free algorithm for $H$-step episodic MDP that achieves sublinear regret whose local switching cost in $K$ episodes is $O(H^3SA\log K)$, and we provide a lower bound of $\Omega(HSA)$ on the local switching cost for any no-regret algorithm. Our algorithm can be naturally adapted to the concurrent setting \citep{guo2015concurrent}, which yields nontrivial results that improve upon prior work in certain aspects.

研究动机与目标

• 研究适应性受限的PAC-MDP算法，特别是针对频繁策略更新在实际应用中不可行的场景。
• 通过局部切换成本的概念量化适应性，其定义为学习过程中探索策略被更改的次数。
• 设计一种无模型算法，在实现次线性遗憾的同时最小化策略切换频率。
• 为回合式MDP中任意无遗憾算法的切换成本建立理论下界。
• 将所提出的算法扩展到并发强化学习设置，相较于先前工作有所改进。

提出的方法

• 提出基于UCB2探索的Q-Learning算法，结合Q-Learning更新与基于UCB2的探索，以平衡探索与利用。
• 使用基于不确定性估计的探索奖励，源自UCB2，以指导策略选择，同时保持较低的切换频率。
• 分析K个回合内的局部切换成本，表明其随$O(H^3SA\log K)$增长，其中H为时域长度，S为状态数，A为动作数。
• 采用一种新颖的分析技术，通过控制价值函数更新的频率来限制策略切换的次数。
• 通过允许多个智能体并行学习并共享经验，将算法适配到并发设置，从而降低有效切换成本。
• 采用后悔分析框架，确保在保持低适应性的同时实现次线性遗憾。

实验结果

研究问题

• RQ1 在回合式MDP中，任意无遗憾PAC-MDP算法的最小可能局部切换成本是多少？
• RQ2 无模型Q-Learning算法是否能在回合式MDP中实现次线性遗憾且切换成本较低？
• RQ3 与先前工作相比，所提出的算法在并发强化学习设置中的表现如何？
• RQ4 所提出的切换成本上界是否紧致，还是可以进一步改进？
• RQ5 该算法能否自然地扩展到并发设置，同时保持理论保证？

主要发现

• 所提出的基于UCB2探索的Q-Learning算法在H步回合式MDP中实现了次线性遗憾，局部切换成本为$O(H^3SA\log K)$。
• 为任意无遗憾算法建立了$Ω(HSA)$的局部切换成本下界，表明所提出的上界近乎最优。
• 该算法可自然地适应并发设置，在某些场景下相比先前工作实现了非平凡的性能提升。
• 切换成本随回合数$K$的对数增长，表明其在时间上具有高效的适应能力。
• 理论分析证实，低适应性不会损害遗憾性能，使得该算法可在敏感领域实现实际部署。
• 结果表明，最小化策略切换与实现强大的学习性能在无模型强化学习中是兼容的。