[论文解读] Structured Linear Contextual Bandits: A Sharp and Geometric Smoothed Analysis

V. Sivakumar, Zhiwei Steven Wu+1 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Bandit Algorithms Research参考文献 34被引用 6

一句话总结

本文提出了一种用于结构化线性上下文Bandit的平滑分析框架，表明当上下文受到高斯噪声扰动时，贪婪算法在无需显式探索的情况下也能实现近似最优的遗憾。关键贡献在于，通过参数结构的高斯宽度表达了一个统一的遗憾界，相较于先前工作，该方法在单参数与多参数设置下均能获得更紧致的边界。

ABSTRACT

Bandit learning algorithms typically involve the balance of exploration and exploitation. However, in many practical applications, worst-case scenarios needing systematic exploration are seldom encountered. In this work, we consider a smoothed setting for structured linear contextual bandits where the adversarial contexts are perturbed by Gaussian noise and the unknown parameter $θ^*$ has structure, e.g., sparsity, group sparsity, low rank, etc. We propose simple greedy algorithms for both the single- and multi-parameter (i.e., different parameter for each context) settings and provide a unified regret analysis for $θ^*$ with any assumed structure. The regret bounds are expressed in terms of geometric quantities such as Gaussian widths associated with the structure of $θ^*$. We also obtain sharper regret bounds compared to earlier work for the unstructured $θ^*$ setting as a consequence of our improved analysis. We show there is implicit exploration in the smoothed setting where a simple greedy algorithm works.

研究动机与目标

• 分析在具有高斯扰动的平滑分析设置下，贪婪算法在结构化线性上下文Bandit中的性能。
• 统一分析单参数与多参数设置下的遗憾，其中真实参数 θ* 具有如稀疏性或低秩等结构约束。
• 证明通过噪声实现的隐式探索足以实现良好性能，从而无需显式探索策略。
• 通过利用参数结构的几何特性（特别是高斯宽度），推导出比先前工作更紧致的遗憾边界。
• 建立简单贪婪算法在通过原子范数捕捉底层参数结构时，可实现近似最优遗憾的结论。

提出的方法

• 引入一种平滑设置，其中对抗性上下文受到独立同分布的高斯噪声扰动，从而实现隐式探索。
• 提出一种贪婪算法，基于当前参数估计选择臂，采用带原子范数正则化的约束最小二乘法。
• 使用约束最小二乘估计器：$\hat{\theta}_{i}^{t} = \arg\min_{\theta} \mathcal{L}(\theta; Z_{i}^{t}, y_{i}^{t}) $，满足 $ R(\theta) \leq R(\theta^{*}_{i}) $，其中 $ R(\cdot) $ 为原子范数。
• 利用几何量（特别是误差集 $ A = \text{cone}(E_c) \cap S^{p-1} $ 的高斯宽度 $ w(A) $）分析遗憾，其中 $ E_c $ 为可行参数偏差集合。
• 应用浓度不等式与切尔诺夫不等式，控制扰动下的估计误差与选择概率。
• 通过结合边际条件、噪声诱导的探索以及高斯内积的尾部界，推导出高概率的遗憾边界。

实验结果

研究问题

• RQ1 贪婪算法是否能在无显式探索的情况下，在结构化线性上下文Bandit中实现次线性遗憾？
• RQ2 未知参数 θ* 的结构（如稀疏性、低秩）在具有噪声上下文的平滑设置下如何影响遗憾？
• RQ3 高斯扰动在实现Bandit算法中隐式探索方面起到什么作用？
• RQ4 遗憾边界是否能以高斯宽度等几何复杂度度量表达，与先前边界相比有何改进？
• RQ5 在单参数与多参数设置下，遗憾边界如何随上下文数量、时间跨度与噪声水平变化？

主要发现

• 所提出的贪婪算法以高概率实现 $ O(\sqrt{Tk} \log T) $ 的遗憾边界，其中 $ T $ 为时间跨度，$ k $ 为上下文数量。
• 遗憾边界以误差集的高斯宽度 $ w(A) $ 表达，该值捕捉了参数结构的复杂性。
• 对于非结构化的 $ \theta^* $，由于分析技术的精细化，该边界相较于先前工作改进了一个对数因子。
• 分析表明，通过高斯噪声实现的隐式探索可确保每轮中以常数概率选择最优上下文，从而实现有效学习。
• 以高概率 $ 1 - \delta $，遗憾被限制在 $ O(\beta t_{\min} + \gamma \sqrt{Tk} \log T) $ 内，其中 $ \beta $ 与 $ \gamma $ 分别与最大内积和噪声缩放相关。
• 该结果在所有上下文与轮次上一致成立，通过联合界与切尔诺夫型浓度不等式实现高概率控制。