[论文解读] Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs

Andrea Zanette, Emma Brunskill|arXiv (Cornell University)|Nov 3, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种UCRL2强化学习算法的微小变体，即使在智能体未意识到博弈结构的情况下，也能在表格型上下文多臂赌博机问题中自动实现接近最优的遗憾界$\tilde{O}(\sqrt{SAT})$。该方法利用问题依赖性分析，无需用户干预或算法修改即可继承更简单框架的最佳性能。

ABSTRACT

In order to make good decision under uncertainty an agent must learn from observations. To do so, two of the most common frameworks are Contextual Bandits and Markov Decision Processes (MDPs). In this paper, we study whether there exist algorithms for the more general framework (MDP) which automatically provide the best performance bounds for the specific problem at hand without user intervention and without modifying the algorithm. In particular, it is found that a very minor variant of a recently proposed reinforcement learning algorithm for MDPs already matches the best possible regret bound $ ilde O (\sqrt{SAT})$ in the dominant term if deployed on a tabular Contextual Bandit problem despite the agent being agnostic to such setting.

研究动机与目标

• 开发强化学习算法，使其在真实问题结构比假设更简单时，能自动继承更简单决策框架（如上下文多臂赌博机）的最佳性能边界。
• 解决强化学习中的框架不匹配问题，即在MDP、赌博机或部分可观察MDP之间选择时常不明确，且影响学习效率。
• 提供问题依赖性遗憾界，使其能适应底层结构（如赌博机与MDP）而无需用户预先指定框架。
• 弥合MDP与上下文赌博机理论边界之间的差距，特别是在主导项$\sqrt{SAT}$方面。

提出的方法

• 对UCRL2算法引入一项微小修改，以改善在真实问题为上下文多臂赌博机设置下的遗憾分析。
• 该方法采用问题依赖性分析，通过条件化于首次 hitting 时间与访问次数，推导出更紧致的边界。
• 应用马尔可夫不等式与霍夫丁不等式，以边界化过度访问状态的概率，利用几何随机变量近似。
• 分析利用最大平均首次 hitting 时间$T_{\text{hit}}$与状态-动作对的访问次数，以控制遗憾的增长。
• 证明了对某一状态-动作对的期望访问次数被限制在$T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$以内，从而实现更紧致的遗憾控制。
• 当在表格型上下文多臂赌博机上部署时，该算法的性能被证明在主导项中呈$\tilde{O}(\sqrt{SAT})$量级，与针对赌博机设计的最优算法的已知最佳边界一致。

实验结果

研究问题

• RQ1 当真实环境为表格型上下文多臂赌博机时，基于MDP的强化学习算法能否自动实现最优的$\tilde{O}(\sqrt{SAT})$遗憾界？
• RQ2 对UCRL2进行问题依赖性分析，是否可使其在无需显式修改或用户知晓框架的情况下，自动适应更简单的结构（如赌博机）？
• RQ3 当环境实际为赌博机时，能否使MDP算法的遗憾界独立于时域$H$，从而与专门针对赌博机的边界一致？
• RQ4 在MDP算法应用于类似赌博机的环境中时，最大平均首次 hitting 时间$T_{\text{hit}}$在控制遗憾方面起什么作用？
• RQ5 如何通过利用状态访问模式与策略稳定性等结构性特性，为MDP算法推导出更紧致的遗憾边界？

主要发现

• UCRL2的一个微小变体在表格型上下文多臂赌博机问题中实现了$\tilde{O}(\sqrt{SAT})$的遗憾界，与针对赌博机设计的最优算法的已知最佳边界一致。
• 该算法无需用户预先识别或指定赌博机结构，即可自动继承上下文多臂赌博机的性能。
• 遗憾界通过条件化于首次 hitting 时间与访问次数的问题依赖性分析推导得出，从而实现对状态访问的更紧致控制。
• 对某一状态-动作对的期望访问次数被限制在$T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$以内，这对推导最终边界至关重要。
• 该方法利用几何随机变量近似与霍夫丁不等式，以边界化访问次数的尾部概率，从而实现高概率的遗憾控制。
• 分析表明，当环境比假设更简单时，该算法的性能会平稳退化，在赌博机设置下的主导项中实现了最优缩放。