[论文解读] Nearly Optimal Sampling Algorithms for Combinatorial Pure Exploration

Lijie Chen, Anupam Gupta+3 more|arXiv (Cornell University)|Jun 4, 2017

Advanced Bandit Algorithms Research参考文献 21被引用 7

一句话总结

本文提出了一种近乎最优的采样算法，用于随机多臂赌博机中的组合纯探索问题 BEST-SET，其目标是在满足组合约束的前提下，使用最少的样本识别出收益总期望最大的可行子集。该方法结合了新型实例相关的下界与基于线性规划松弛和置信区间估计的两阶段采样过程，实现的样本复杂度仅比信息论下界高出 |F| 的对数因子，且通过凸优化与近似帕累托曲线，为关键组合家族（如拟阵、匹配和路径）提供了多项式时间实现方案。

ABSTRACT

We study the combinatorial pure exploration problem Best-Set in stochastic multi-armed bandits. In a Best-Set instance, we are given $n$ arms with unknown reward distributions, as well as a family $\mathcal{F}$ of feasible subsets over the arms. Our goal is to identify the feasible subset in $\mathcal{F}$ with the maximum total mean using as few samples as possible. The problem generalizes the classical best arm identification problem and the top-$k$ arm identification problem, both of which have attracted significant attention in recent years. We provide a novel instance-wise lower bound for the sample complexity of the problem, as well as a nontrivial sampling algorithm, matching the lower bound up to a factor of $\ln|\mathcal{F}|$. For an important class of combinatorial families, we also provide polynomial time implementation of the sampling algorithm, using the equivalence of separation and optimization for convex program, and approximate Pareto curves in multi-objective optimization. We also show that the $\ln|\mathcal{F}|$ factor is inevitable in general through a nontrivial lower bound construction. Our results significantly improve several previous results for several important combinatorial constraints, and provide a tighter understanding of the general Best-Set problem. We further introduce an even more general problem, formulated in geometric terms. We are given $n$ Gaussian arms with unknown means and unit variance. Consider the $n$-dimensional Euclidean space $\mathbb{R}^n$, and a collection $\mathcal{O}$ of disjoint subsets. Our goal is to determine the subset in $\mathcal{O}$ that contains the $n$-dimensional vector of the means. The problem generalizes most pure exploration bandit problems studied in the literature. We provide the first nearly optimal sample complexity upper and lower bounds for the problem.

研究动机与目标

• 解决组合纯探索问题 BEST-SET，目标是在组合约束下识别出 F 中总期望收益最大的可行子集。
• 为 BEST-SET 建立紧致的、实例相关的样本复杂度下界，以捕捉问题的特定难度。
• 设计一种采样算法，使其样本复杂度在 |F| 的对数因子内逼近该下界，确保近乎最优性。
• 为重要组合家族（如拟阵、匹配和路径）提供多项式时间实现方案，利用凸优化与近似帕累托曲线。
• 将该框架扩展至具有高斯分布臂的几何化纯探索形式，为这一通用设定提供首个近乎最优的样本复杂度界。

提出的方法

• 提出一种两阶段采样算法 LPSample，首先通过轮询采样精炼均值估计，随后利用线性规划松弛确定最优采样比例。
• 推导出一种新型实例相关的样本复杂度下界，通过一个捕捉最优子集与其它备选方案可区分性的线性规划问题定义。
• 利用置信区间与集中不等式（如霍夫丁不等式）确保高概率正确性，条件基于一个‘良好’事件，即均值估计足够准确。
• 利用凸规划中分离与优化的等价性，高效计算复杂家族（如生成树和匹配）的采样分布。
• 在多目标优化中引入近似帕累托曲线的概念，以避免显式枚举规模指数级的 F。
• 采用 n 维高斯臂与互不相交结果集 O 的几何化问题形式，推广了先前的纯探索问题。

实验结果

研究问题

• RQ1 在组合纯探索问题中，识别最优子集所需的样本数的实例相关信息论下界是什么？
• RQ2 能否设计一种采样算法，即使 |F| 随 n 指数增长，其样本复杂度仍能在 |F| 的对数因子内逼近该下界？
• RQ3 如何为拟阵、匹配和路径等组合家族，高效实现该采样算法，使其在多项式时间内运行？
• RQ4 |F| 的对数因子在一般情况下是否不可避免？能否在特定问题类别中将其消除？
• RQ5 该框架能否推广至包含高斯分布臂与互不相交结果区域的几何化纯探索设定？

主要发现

• 本文为 BEST-SET 建立了新的实例相关样本复杂度下界，该下界比以往更紧，并能捕捉问题的特定难度。
• 所提出的 LPSample 算法实现的样本复杂度仅比推导出的下界高出 O(ln |F|) 因子，因此近乎最优。
• 对于拟阵、匹配和路径等组合家族，该算法可通过凸优化与近似帕累托曲线在多项式时间内实现。
• 论文通过基于 Nisan-Wigderson 设计的非平凡下界构造，证明了 ln |F| 因子在一般情况下不可避免。
• 几何化纯探索设定（含高斯臂）被证明能推广大多数先前的纯探索问题，本文首次为此设定提供了近乎最优的样本复杂度界。
• 该算法的期望样本复杂度为 O(Low(I)(ln δ−1 + n³ + n ln ∆−1))，其中 Low(I) 为实例相关下界，∆ 为真实均值与任一其他可行解之间的最小欧氏距离。