[论文解读] Regret Bound Balancing and Elimination for Model Selection in Bandits and RL

Aldo Pacchiano, Christoph Dann+2 more|arXiv (Cornell University)|Dec 24, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 12

一句话总结

该论文提出了一种用于随机多臂赌博机和强化学习的模型选择框架，通过平衡遗憾界并利用统计检验消除次优的基线算法，实现了遗憾界被最佳有效候选遗憾界乘以一个微小乘法因子所限制，且在间隙假设下表现接近最优，并可扩展至对抗性环境。

ABSTRACT

We propose a simple model selection approach for algorithms in stochastic bandit and reinforcement learning problems. As opposed to prior work that (implicitly) assumes knowledge of the optimal regret, we only require that each base algorithm comes with a candidate regret bound that may or may not hold during all rounds. In each round, our approach plays a base algorithm to keep the candidate regret bounds of all remaining base algorithms balanced, and eliminates algorithms that violate their candidate bound. We prove that the total regret of this approach is bounded by the best valid candidate regret bound times a multiplicative factor. This factor is reasonably small in several applications, including linear bandits and MDPs with nested function classes, linear bandits with unknown misspecification, and LinUCB applied to linear bandits with different confidence parameters. We further show that, under a suitable gap-assumption, this factor only scales with the number of base algorithms and not their complexity when the number of rounds is large enough. Finally, unlike recent efforts in model selection for linear stochastic bandits, our approach is versatile enough to also cover cases where the context information is generated by an adversarial environment, rather than a stochastic one.

研究动机与目标

• 解决在最优配置未知先验的情况下，从多个多臂赌博机或强化学习算法中进行选择的挑战。
• 克服先前方法依赖最优遗憾知识或假设上下文独立同分布的局限性。
• 开发一种通用的主算法，能够在线自适应地选择最佳基线算法，而无需事先了解环境结构。
• 即使部分基线算法设定错误，也能实现与最佳有效基线算法相当的遗憾界。
• 将该框架扩展至对抗性环境，实现超越独立同分布假设的鲁棒性能。

提出的方法

• 维护一组基线算法，每个算法均带有候选遗憾界，该界限在实际中可能成立也可能不成立。
• 在每一轮中，选择一个基线算法，以在所有剩余算法之间平衡候选遗憾界。
• 使用统计检验检测并剔除违反其候选遗憾界的基线算法。
• 采用基于轮次的平衡子程序，根据置信区间违反情况动态调整探索策略。
• 将该方法应用于嵌套模型类（例如，不同维度的线性多臂赌博机）和超参数调优（例如，OFUL中的置信参数）。
• 通过随机化平衡机制的变体，将该方法扩展至对抗性环境，确保鲁棒性。

实验结果

研究问题

• RQ1 能否在未知最优遗憾的情况下，使模型选择算法的遗憾接近最佳有效候选遗憾界？
• RQ2 如何利用遗憾平衡与剔除机制，自动从一组替代算法中选择最佳基线算法？
• RQ3 不同基线算法之间遗憾界之间的间隙对主算法性能有何影响？
• RQ4 该方法能否扩展至上下文序列非独立同分布的对抗性环境？
• RQ5 遗憾界中的乘法因子如何随基线算法数量及其复杂度变化？

主要发现

• 所提出的主算法的总遗憾界被限制为最佳有效候选遗憾界乘以一个微小的乘法因子。
• 在间隙假设下，当轮次数量较大时，乘法因子仅随基线算法数量增长，而不随其复杂度增长。
• 对于具有嵌套模型类的线性多臂赌博机，遗憾界接近最优，并在事后与最佳基线算法性能一致。
• 在OFUL采用不同置信参数的情况下，该方法实现的遗憾接近最佳配置的性能。
• 通过基于轮次的随机化子程序，该框架可扩展至对抗性环境，同时保持遗憾保证。
• 遗憾界包含一个随 $\tilde{O}(\sqrt{B}M(d_{\star} + \sqrt{d_{\star}}S_{\star})\sqrt{T})$ 缩放的项，其中 $B$ 为设定错误的模型数量，$M$ 为基线算法数量。