[论文解读] Structured Stochastic Linear Bandits

Nicholas D. Johnson, V. Sivakumar+1 more|arXiv (Cornell University)|Jun 17, 2016

Advanced Bandit Algorithms Research参考文献 17被引用 6

一句话总结

该论文提出了一种结构化随机线性Bandit算法，通过利用未知参数θ*中的范数结构（例如稀疏性、组稀疏性、低秩性）来构建更紧致的置信椭球体，方法是采用范数正则化回归。通过将椭球体半径与结构集合的高斯宽度相关联，该方法实现了与内在维度而非环境维度成比例的遗憾界，从而在性能保证上优于以往的非结构化方法。

ABSTRACT

The stochastic linear bandit problem proceeds in rounds where at each round the algorithm selects a vector from a decision set after which it receives a noisy linear loss parameterized by an unknown vector. The goal in such a problem is to minimize the (pseudo) regret which is the difference between the total expected loss of the algorithm and the total expected loss of the best fixed vector in hindsight. In this paper, we consider settings where the unknown parameter has structure, e.g., sparse, group sparse, low-rank, which can be captured by a norm, e.g., $L_1$, $L_{(1,2)}$, nuclear norm. We focus on constructing confidence ellipsoids which contain the unknown parameter across all rounds with high-probability. We show the radius of such ellipsoids depend on the Gaussian width of sets associated with the norm capturing the structure. Such characterization leads to tighter confidence ellipsoids and, therefore, sharper regret bounds compared to bounds in the existing literature which are based on the ambient dimensionality.

研究动机与目标

• 为解决现有随机线性Bandit算法遗憾界随环境维度p增长的问题，特别是当θ*具有潜在结构时。
• 开发一种通用框架，用于构建围绕θ*的高概率置信椭球体，使其能自适应结构范数（如L1、组L1、核范数）。
• 通过高斯宽度的几何表征来收紧置信椭球体，从而减少遗憾，而非依赖于环境维度。
• 设计一种采样策略，结合初始的随机探索与以乐观解为中心的L2球面上的均匀采样，以提升鲁棒性与探索效率。

提出的方法

• 使用范数正则化回归（如Lasso）而非岭回归来构建置信椭球体，以更好地捕捉θ*的结构假设。
• 将由结构范数定义的集合的高斯宽度作为参数空间复杂度的代理，以确定置信椭球体的半径。
• 引入两阶段采样策略：第一阶段，在决策集上进行随机采样以获得θ*的一致估计；第二阶段，从基于双线性优化得到的乐观解为中心的L2球面上进行均匀采样。
• 应用鞅差分的集中不等式，以确保所有轮次中置信椭球体以高概率包含θ*。
• 利用结构化估计的最新成果，将i.i.d.采样保证扩展至Bandit反馈中的主动采样设置。
• 通过将椭球体半径与高斯宽度关联，推导出遗憾界，从而在θ*具有结构时实现维度约简。

实验结果

研究问题

• RQ1 在随机线性Bandit中，能否通过利用未知参数θ*的结构假设来收紧置信椭球体？
• RQ2 在结构化Bandit设置中，范数诱导集合的高斯宽度与高概率置信椭球体的半径之间有何关系？
• RQ3 何种采样策略能同时实现统计一致性与高效探索，同时保持对θ*的高概率置信？
• RQ4 与环境维度相比，遗憾界如何随结构复杂度（如稀疏性、组稀疏性）变化？
• RQ5 在结构化Bandit问题中，范数正则化回归是否优于岭回归来改进置信椭球体的构建？

主要发现

• 置信椭球体的半径与结构集合的高斯宽度成比例，从而比基于环境维度p的椭球体更紧致。
• 对于s-稀疏的θ*，椭球体半径的量级为O(√(s log p))，显著优于非结构化设置中的O(√p)。
• 所提算法的遗憾界与结构集合的高斯宽度成比例，当θ*具有结构时，可获得更紧致的边界。
• 该方法实现了与现有最先进结果相当的遗憾界（例如，对s-稀疏θ*为√(s p T)），但可推广至更广泛的类别，如组稀疏性和低秩矩阵。
• 两阶段采样策略——初始随机探索后接以L2球面的均匀采样——确保了统计一致性与有效的探索。
• 理论保证基于鞅集中不等式，并将结构化估计结果扩展至主动采样场景，确保θ*以高概率被包含在置信椭球体内。