[论文解读] Regret Analysis of the Anytime Optimally Confident UCB Algorithm

Tor Lattimore|arXiv (Cornell University)|Mar 29, 2016

Advanced Bandit Algorithms Research参考文献 17被引用 23

一句话总结

本文提出了 OCUCB-$n$，这是针对亚高斯噪声的随机多臂赌博机问题的最优自信UCB算法的任意时间变体。该算法在无需事先知晓时域 $n$ 的情况下，实现了近乎最优的有限时间后悔界，其渐近下界匹配度达到 $η$ 和 $√{\log\log n}$ 因子，通过参数 $ρ$ 实现对有效臂数的自适应置信区间。该算法使用动态的 $B_i(t)$ 项来优化探索过程，在有限时间性能上优于标准UCB和MOSS，同时在渐近情形下保持理论最优性。

ABSTRACT

I introduce and analyse an anytime version of the Optimally Confident UCB (OCUCB) algorithm designed for minimising the cumulative regret in finite-armed stochastic bandits with subgaussian noise. The new algorithm is simple, intuitive (in hindsight) and comes with the strongest finite-time regret guarantees for a horizon-free algorithm so far. I also show a finite-time lower bound that nearly matches the upper bound.

研究动机与目标

• 开发一种最优自信UCB（OCUCB）算法的任意时间版本，无需事先知晓时域 $n$。
• 实现近乎最优的有限时间后悔界，与已知下界相比仅相差 $\sqrt{\log\log n}$ 项。
• 通过引入 $k_{i,\rho}$（表示具有更大均值差距的“有效”臂的数量）来改进问题难度的定义。
• 为新算法提供严谨的后悔分析，证明其在渐近意义下最优，仅相差因子 $\eta > 1$。
• 通过基于臂相似性和采样次数的自适应置信区间，改进现有无时域依赖算法（如UCB和MOSS）的性能。

提出的方法

• 该算法使用上界置信区间 $\gamma_i(t) = \hat{\mu}_i(t-1) + \sqrt{\frac{2\eta \log(B_i(t-1))}{T_i(t-1)}}$ 选择臂，其中 $B_i(t-1)$ 根据采样次数和臂的相似性动态调整。
• 置信项 $B_i(t-1)$ 定义为 $e$、$\log t$ 和 $t\log t$ 的最大值，除以涉及 $T_i(t-1)$ 和 $T_j(t-1)^\rho T_i(t-1)^{1-\rho}$ 的最小值之和，从而捕捉有效臂之间的相互作用。
• 参数 $\rho \in (1/2,1]$ 控制对臂相似性的敏感度，$\rho = 1/2$ 为标准选择，可在鲁棒性与性能之间取得平衡。
• 算法通过在前 $K$ 轮中各拉取一次所有臂进行初始化，随后使用基于索引的选择策略结合置信区间。
• 后悔分析依赖于集中不等式，并采用一种新颖的置信水平选择方法，该方法依赖于 $\tau_{i,n}$，即臂 $i$ 预期被充分采样的时间。
• 附录A推导出一个下界，几乎与上界匹配，验证了在 $\log\log n$ 项范围内后悔界具有紧致性。

实验结果

研究问题

• RQ1 能否设计出一种OCUCB的任意时间版本，使其在不依赖时域 $n$ 的前提下实现近乎最优的后悔？
• RQ2 参数 $\rho$ 的选择如何影响算法的有限时间与渐近后悔性能？
• RQ3 能否通过引入一个动态项 $B_i(t)$ 来优化UCB中的置信区间，使其考虑有效臂数与采样平衡？
• RQ4 在亚高斯赌博机中，无时域依赖的UCB变体的最紧致有限时间后悔界是什么？
• RQ5 在不牺牲理论保证的前提下，置信水平最多能缩小到何种程度，这对经验性能有何影响？

主要发现

• 算法 OCUCB-$n$ 实现了有限时间后悔界 $R^{\text{OCUCB-}n}_{\mu}(n) \leq C_{\eta} \sum_{i:\Delta_i>0} \left( \Delta_i + \frac{1}{\Delta_i} \log \max\left\{ \frac{n\Delta_i^2 \log n}{k_{i,\rho}}, \log n \right\} \right)$，该界近乎最优。
• 渐近后悔满足 $\limsup_{n\to\infty} R^{\text{OCUCB-}n}_{\mu}(n)/\log n \leq \sum_{i:\Delta_i>0} \frac{2\eta}{\Delta_i}$，与Lai-Robbins下界仅相差因子 $\eta > 1$。
• 项 $k_{i,\rho} = \sum_{j=1}^K \min\{1, \Delta_i^{2\rho}/\Delta_j^{2\rho}\}$ 衡量了影响后悔的有效臂数量，且随 $\rho$ 增大而非增，$\rho=1/2$ 在理论紧致性上为最优。
• 实验结果表明，算法对 $\rho \in [1/2,1]$ 的变化不敏感，且在不同配置下性能保持稳定。
• 分析表明，当前技术下，后悔界中的 $\log\log n$ 项不可避免，且附录A中的匹配下界证实该界几乎紧致。
• 即使将 $B_i(t-1)$ 中的对数项简化，算法仍保持鲁棒性，表明可在不损失理论性能的前提下实现潜在的实证改进。