[论文解读] Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits

Yingkai Li, Yining Wang+1 more|arXiv (Cornell University)|Mar 30, 2019

Advanced Bandit Algorithms Research参考文献 37被引用 62

一句话总结

该论文为具有有限行动集的线性上下文赌博建立了近似极小极大最优的遗憾上界，提出了一个变量置信水平的 SupLinUCB 变体以收紧上界，并在某些情形下给出近似匹配的下界。

ABSTRACT

We study the linear contextual bandit problem with finite action sets. When the problem dimension is $d$, the time horizon is $T$, and there are $n \leq 2^{d/2}$ candidate actions per time period, we (1) show that the minimax expected regret is $Ω(\sqrt{dT (\log T) (\log n)})$ for every algorithm, and (2) introduce a Variable-Confidence-Level (VCL) SupLinUCB algorithm whose regret matches the lower bound up to iterated logarithmic factors. Our algorithmic result saves two $\sqrt{\log T}$ factors from previous analysis, and our information-theoretical lower bound also improves previous results by one $\sqrt{\log T}$ factor, revealing a regret scaling quite different from classical multi-armed bandits in which no logarithmic $T$ term is present in minimax regret. Our proof techniques include variable confidence levels and a careful analysis of layer sizes of SupLinUCB on the upper bound side, and delicately constructed adversarial sequences showing the tightness of elliptical potential lemmas on the lower bound side.

研究动机与目标

• 在对手/敌对行动上下文下，表征具有有限行动集的线性上下文赌博的极小极大遗憾。
• 开发一种能够实现对最坏情形遗憾的接近紧致上界的算法。
• 提供匹配的下界以展示有限行动线性赌博设置的难度。

提出的方法

• 引入 Variable-Confidence-Level (VCL) SupLinUCB，这是一个使用时间自适应置信水平的 SupLinUCB 变体。
• 将时间划分为层次并对每层进行最小二乘估计以解耦依赖关系。
• 使用细化分析在遗憾界上减少对数因子，特别用 log[T(omega^2/d)] 替代全局的 log T，其中 omega 是二次型。
• 通过界定每层的贡献并利用解耦的统计结构（命题 1）来推导对遗憾的上界。
• 设计一个精心设计的序列以证明椭圆势能引理的紧性，并为对抗性下界构造提供信息。

实验结果

研究问题

• RQ1 在无知/对抗性行动上下文下，具有有限行动集的线性上下文赌博的极小极大遗憾是多少？
• RQ2 通过改进分析和算法设计，在该设置中是否可以缩小上界与下界之间的差距？
• RQ3 变量置信水平方法是否能在 SupLinUCB 变体的遗憾分析中消除额外的对数因子？
• RQ4 在线性参数化赌博的椭圆势能引理分析在多大程度上紧凑？

主要发现

• 极小极大遗憾上界为 poly(log log(nT)) 的数量级乘以 O(sqrt(d T log T log n))。
• 在 n <= 2^{d/2} 且 T >= d (log_2 n)^{1+epsilon} 对任意 epsilon>0 时，极小极大遗憾下界为 Omega(sqrt(d T log n log(T/d))).
• 当 n 不太大时，上下界在迭代对数因子之外几乎匹配。
• 自适应置信水平降低了上界中对 log T 的依赖，移除了第一项 O(sqrt(log T))。
• 经过细化的分层尺度分析显示层大小呈指数增长，从而实现移除额外的 O(sqrt(log T)) 项。
• 下界构造可扩展到无限行动空间，表明除了有限行动情形之外的固有难度。