[论文解读] Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection

Yi Chen, Yining Wang+3 more|arXiv (Cornell University)|Sep 4, 2020

Advanced Bandit Algorithms Research参考文献 60被引用 4

一句话总结

该论文提出了一种近乎与维度无关的稀疏线性上下文Bandit算法，结合最优子集选择与双重增长周期，在高维、稀疏线性上下文Bandit问题中实现 $\tilde{O}(s\sqrt{T})$ 的遗憾，适用于小规模、随机的动作空间。该方法通过平衡探索与利用，在保持计算可行性的同时，实现了接近最优的性能，并在低维情形下匹配极小化下界。

ABSTRACT

We consider the stochastic contextual bandit problem under the high dimensional linear model. We focus on the case where the action space is finite and random, with each action associated with a randomly generated contextual covariate. This setting finds essential applications such as personalized recommendations, online advertisements, and personalized medicine. However, it is very challenging to balance the exploration and exploitation tradeoff. We modify the LinUCB algorithm in doubly growing epochs and estimate the parameter using the best subset selection method, which is easy to implement in practice. This approach achieves O(sT) regret with high probability, which is nearly independent of the “ambient” regression model dimension <i>d</i>. We further attain a sharper O(sT) regret by using the SupLinUCB framework and match the minimax lower bound of the low-dimensional linear stochastic bandit problem. Finally, we conduct extensive numerical experiments to empirically demonstrate our algorithms’ applicability and robustness. Supplementary materials for this article are available online.

研究动机与目标

• 为解决环境维度 $d$ 远大于样本量 $T$ 的高维线性上下文Bandit问题，同时保持计算效率。
• 开发一种实际可行且可实现的算法，在稀疏高维设置下实现遗憾几乎与环境维度 $d$ 无关。
• 在有限、小规模且随机生成的动作空间中，有效平衡探索与利用。
• 通过在SupLinUCB框架中引入最优子集选择，实现对低维线性Bandit问题极小化下界的匹配。
• 通过实证验证所提算法在多样化场景下的鲁棒性与适用性。

提出的方法

• 该算法采用双重增长周期，在时间区间大小逐步增加的阶段系统地平衡探索与利用。
• 利用最优子集选择来估计稀疏参数向量 $\theta^*$，仅关注 $s$ 个非零分量，从而降低估计误差并提高可解释性。
• 在每个周期内使用带有置信区域的岭回归估计器来限制估计误差，利用自归一化的鞅集中不等式。
• 通过经验Gram矩阵和正则化构建置信区域，以确保参数估计误差的高概率界。
• 通过引入最优子集选择，对SupLinUCB框架进行改进，以细化置信集并实现更紧致的遗憾界。
• 该算法在每个周期动态更新估计参数的支持集 $S_{\tau-1}$，确保稀疏感知学习。

实验结果

研究问题

• RQ1 在高维设置下，稀疏线性Bandit算法能否实现几乎与环境维度 $d$ 无关的遗憾？
• RQ2 如何在上下文Bandit框架中有效整合最优子集选择，以保持计算可行性和统计效率？
• RQ3 在有限、小规模且随机生成的动作空间中，探索与利用之间的最优权衡是什么？
• RQ4 所提方法能否实现与低维线性Bandit问题极小化下界相匹配的遗憾界？
• RQ5 在不同稀疏度和噪声水平下，该算法的实证表现如何？

主要发现

• 所提算法以高概率实现 $\widetilde{\mathcal{O}}(s\sqrt{T})$ 的遗憾界，几乎与环境维度 $d$ 无关。
• 通过将最优子集选择与SupLinUCB框架结合，该方法实现了更紧致的遗憾界 $\widetilde{\mathcal{O}}(\sqrt{sT})$，与低维线性Bandit问题的极小化下界一致。
• 通过最优子集选择与周期性估计，该算法保持了计算可行性，避免了高维下全稀疏回归的不可行性。
• 理论分析表明，利用自归一化鞅集中不等式与岭正则化，参数估计器的置信区域被紧密控制。
• 数值实验表明，该算法在各种高维与稀疏设置下均表现出鲁棒性与优异的实证性能。
• 该方法通过利用稀疏性并借助有限、小规模的动作空间，有效缓解了维度灾难，减少了遗憾的增长。