[论文解读] Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits

Avishek Ghosh, Abishek Sankararaman+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出自适应线性Bandit（ALB），一种新颖的基于阶段的算法，用于随机线性Bandit问题，能够根据问题复杂度（即真实参数向量的范数$\|\theta^*\|$或其稀疏度$d^*$）自适应地选择模型，而无需事先了解这些信息。ALB实现了$\widetilde{O}(\|\theta^*\|\sqrt{T})$和$\widetilde{O}(d^*\sqrt{T})$的遗憾缩放，与已知真实复杂度的Oracle算法性能相当，是首个在两种设定下均实现此类模型选择保证的算法。

ABSTRACT

We consider the problem of model selection for two popular stochastic linear bandit settings, and propose algorithms that adapts to the unknown problem complexity. In the first setting, we consider the $K$ armed mixture bandits, where the mean reward of arm $i \\in [K]$, is $\\mu_i+ \\langle \\alpha_{i,t},\ heta^* \ angle $, with $\\alpha_{i,t} \\in \\mathbb{R}^d$ being the known context vector and $\\mu_i \\in [-1,1]$ and $\ heta^*$ are unknown parameters. We define $\\|\ heta^*\\|$ as the problem complexity and consider a sequence of nested hypothesis classes, each positing a different upper bound on $\\|\ heta^*\\|$. Exploiting this, we propose Adaptive Linear Bandit (ALB), a novel phase based algorithm that adapts to the true problem complexity, $\\|\ heta^*\\|$. We show that ALB achieves regret scaling of $O(\\|\ heta^*\\|\\sqrt{T})$, where $\\|\ heta^*\\|$ is apriori unknown. As a corollary, when $\ heta^*=0$, ALB recovers the minimax regret for the simple bandit algorithm without such knowledge of $\ heta^*$. ALB is the first algorithm that uses parameter norm as model section criteria for linear bandits. Prior state of art algorithms \\cite{osom} achieve a regret of $O(L\\sqrt{T})$, where $L$ is the upper bound on $\\|\ heta^*\\|$, fed as an input to the problem. In the second setting, we consider the standard linear bandit problem (with possibly an infinite number of arms) where the sparsity of $\ heta^*$, denoted by $d^* \\leq d$, is unknown to the algorithm. Defining $d^*$ as the problem complexity, we show that ALB achieves $O(d^*\\sqrt{T})$ regret, matching that of an oracle who knew the true sparsity level. This methodology is then extended to the case of finitely many arms and similar results are proven. This is the first algorithm that achieves such model selection guarantees. We further verify our results via synthetic and real-data experiments.

研究动机与目标

• 解决在真实问题复杂度（如$\|\theta^*\|$或$d^*$）事先未知的随机线性Bandit中的模型选择问题。
• 设计一种算法，能够自适应地选择包含真实模型的最小假设类，实现遗憾与真实复杂度的缩放关系，而非与上界相关。
• 将自适应模型选择扩展至具有有限或无限臂的线性Bandit设置中的基于范数和基于稀疏度的复杂度度量。
• 通过合成数据和真实数据实验表明，所提算法在累积遗憾方面相比非自适应基线算法提升了1.5至3倍。

提出的方法

• 提出一种基于阶段的算法ALB-Norm，通过逐步增加对$\|\theta^*\|$的上界估计，自适应地细化$\|\theta^*\|$的估计值。
• 采用按$\|\theta^*\|$上界索引的嵌套假设类序列，算法动态选择最能满足数据的最小类。
• 提出ALB-Dim用于基于稀疏度的模型选择，通过多阶段迭代细化$\theta^*$的支持集大小$d^*$的估计。
• 利用置信区间和阶段内探索策略，以细化参数估计并减少遗憾，每个阶段均对复杂度估计进行优化。
• 通过阈值处理和子空间估计实现维度精炼，以识别真实的稀疏度水平$d^*$。
• 采用两阶段学习过程：首先进行探索以估计复杂度，随后在选定的假设类中进行精细化学习。

实验结果

研究问题

• RQ1 算法是否能在不事先知道其值的情况下，实现与真实$\|\theta^*\|$线性缩放的遗憾？
• RQ2 能否在基于$\theta^*$稀疏度$d^*$的线性Bandit中实现模型选择，其遗憾与已知真实$d^*$的Oracle算法相当？
• RQ3 在实际中，自适应复杂度估计是否能显著优于非自适应算法？
• RQ4 该算法是否能在所有$\theta^*$上保持一致有效的遗憾边界，同时与Oracle性能匹配？

主要发现

• ALB-Norm实现了$\widetilde{O}(\|\theta^*\|\sqrt{T})$的遗憾，即使在$\theta^* = 0$时也与简单Bandit的极小化最大遗憾相当，且无需事先知道此事实。
• ALB-Dim在无限臂线性Bandit设置中实现了$\widetilde{O}(d^*\sqrt{T})$的遗憾，与已知真实稀疏度$d^*$的Oracle性能一致。
• 在合成实验中，ALB-Norm相比非自适应的OFUL+将累积遗憾降低了1.5至3倍，并快速收敛至真实$\|\theta^*\|$估计值。
• 在Yahoo Learning to Rank数据集的真实数据实验中，ALB-Norm在6个阶段内将$\|\theta^*\|$估计值稳定在11.1，初始猜测值为25。
• 在合成设置中，算法在少于5个阶段内成功识别出真实稀疏度$d^*$，展示了有效的维度精炼能力。
• 性能提升是本质性的，而非理论边界带来的伪影，这一点得到了合成与真实世界评估的一致验证。