[论文解读] Pure Exploration of Multi-armed Bandit Under Matroid Constraints

Lijie Chen, Anupam Gupta+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Bandit Algorithms Research参考文献 18被引用 11

一句话总结

本文提出了在拟阵约束下，针对随机多臂赌博机中纯探索问题的近乎最优算法，目标是使用最少样本识别出拟阵的最大权重基。该方法在精确版本和PAC版本中均实现了近乎最优的样本复杂度，推广了Top-k和最优臂识别问题。

ABSTRACT

We study the pure exploration problem subject to a matroid constraint (Best-Basis) in a stochastic multi-armed bandit game. In a Best-Basis instance, we are given $n$ stochastic arms with unknown reward distributions, as well as a matroid $\mathcal{M}$ over the arms. Let the weight of an arm be the mean of its reward distribution. Our goal is to identify a basis of $\mathcal{M}$ with the maximum total weight, using as few samples as possible. The problem is a significant generalization of the best arm identification problem and the top-$k$ arm identification problem, which have attracted significant attentions in recent years. We study both the exact and PAC versions of Best-Basis, and provide algorithms with nearly-optimal sample complexities for these versions. Our results generalize and/or improve on several previous results for the top-$k$ arm identification problem and the combinatorial pure exploration problem when the combinatorial constraint is a matroid.

研究动机与目标

• 解决当可行解受拟阵结构约束时，随机多臂赌博机中的纯探索问题。
• 将现有最优臂和Top-k臂识别结果推广至更广泛的拟阵约束设置。
• 设计算法，在尽可能少的样本下以高概率识别出拟阵的最大权重基。
• 为问题的精确版本和PAC版本提供近乎最优的样本复杂度界。
• 将先前在组合纯探索方面的研究扩展至拟阵约束，该约束推广了基数约束和划分约束。

提出的方法

• 提出一种两阶段算法：第一阶段通过置信区间迭代剔除次优臂，第二阶段使用朴素采样策略进行最终精炼。
• 采用递归剔除过程，逐步缩小候选臂集合，同时保持高概率正确性。
• 基于Hoeffding不等式构造置信区间，剔除那些不太可能属于最优基的臂。
• 在最终阶段应用改进的Naïve-II算法变体进行精细化采样，以确保高概率正确性。
• 通过在所有剔除轮次和最终阶段上使用联合界，结合对失败概率和秩的对数依赖关系，绑定样本复杂度。
• 通过分析每一轮的轮数、候选集大小和各阶段的误差概率，推导出样本复杂度的理论界。

实验结果

研究问题

• RQ1 我们能否在拟阵约束的多臂赌博机设置下，实现识别最大权重基的近乎最优样本复杂度？
• RQ2 样本复杂度如何随臂的数量、拟阵的秩以及所需置信水平变化？
• RQ3 所提出的算法能否在统一的拟阵框架下推广并改进现有关于Top-k和最优臂识别的结果？
• RQ4 在纯探索中，样本效率与拟阵约束结构之间存在何种权衡？
• RQ5 理论界与该类问题的已知下界相比如何？

主要发现

• 对于PAC版本，所提算法的样本复杂度为 $ O\big{(}n(1 + \ln\delta^{-1}/k) + (\ln\delta^{-1} + k)(\ln k\ln\ln k + \ln\delta^{-1}\ln\ln\delta^{-1})\big{)}\varepsilon^{-2} \big{)} $，接近最优。
• 对于精确版本，当 $ n \leq 10k $ 或 $ \ln\delta^{-1} > k\ln(n/k) $ 时，算法以至少 $ 1 - \delta $ 的概率返回正确的最优基，样本复杂度界为 $ O\big{(}n(1 + \ln\delta^{-1}/k)\varepsilon^{-2}\big{)} $。
• 该算法在Top-k臂识别和拟阵约束下的组合纯探索方面，均推广并改进了先前结果。
• 分析表明，样本复杂度对失败概率 $ \delta $ 呈对数依赖，对臂的数量 $ n $ 呈线性依赖，而对拟阵的秩 $ k $ 呈次线性依赖。
• 通过迭代剔除均值奖励置信度较低的臂，方法以高概率实现 $ \varepsilon $-最优性。
• 最终阶段在较小的残差集合上使用精细化采样策略，确保最终解既正确又样本高效。