[论文解读] Polynomial-time Algorithms for Combinatorial Pure Exploration with Full-bandit Feedback

Yuko Kuroki, Liyuan Xu+3 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research参考文献 20被引用 3

一句话总结

本文提出了在仅观测到各臂奖励总和的全盲带反馈下，针对随机组合纯探索问题的多项式时间算法。该工作提出了一种新颖的0-1二次最大化问题近似算法，并在理论上保证了高效的样本复杂度，实现了组合带带问题中可扩展的top-k选择。

ABSTRACT

We study the problem of stochastic combinatorial pure exploration (CPE), where an agent sequentially pulls a set of single arms (a.k.a. a super arm) and tries to find the best super arm. Among a variety of problem settings of the CPE, we focus on the full-bandit setting, where we cannot observe the reward of each single arm, but only the sum of the rewards. Although we can regard the CPE with full-bandit feedback as a special case of pure exploration in linear bandits, an approach based on linear bandits is not computationally feasible since the number of super arms may be exponential. In this paper, we first propose a polynomial-time bandit algorithm for the CPE under general combinatorial constraints and provide an upper bound of the sample complexity. Second, we design an approximation algorithm for the 0-1 quadratic maximization problem, which arises in many bandit algorithms with confidence ellipsoids. Based on our approximation algorithm, we propose novel bandit algorithms for the top-k selection problem, and prove that our algorithms run in polynomial time. Finally, we conduct experiments on synthetic and real-world datasets, and confirm the validity of our theoretical analysis in terms of both the computation time and the sample complexity.

研究动机与目标

• 解决现有线性带带方法在组合纯探索中因超臂空间呈指数级增长而导致的计算不可行性问题。
• 设计一种在一般组合约束下，基于全盲带反馈的组合纯探索的多项式时间带带算法。
• 开发一种高效的0-1二次最大化问题近似算法，该问题作为基于置信椭球的带带方法中的关键子程序。
• 在全盲带反馈下，实现组合带带问题中可扩展且理论保证高效的top-k选择。
• 通过在合成数据集和真实世界数据集上的实验，验证理论样本复杂度与计算时间。

提出的方法

• 提出一种基于全盲带反馈的、适用于一般组合约束的组合纯探索多项式时间带带算法。
• 提出一种新颖的0-1二次最大化问题近似算法，该问题源于置信椭球计算。
• 利用该近似算法设计高效的top-k选择问题带带算法。
• 采用置信椭球与样本复杂度分析，确保算法收敛至最优超臂。
• 设计一种采样策略，在部分反馈下平衡探索与利用。
• 采用理论分析，推导出所提算法样本复杂度的上界。

实验结果

研究问题

• RQ1 我们能否设计一种在全盲带反馈下具有理论样本复杂度保证的组合纯探索多项式时间算法？
• RQ2 如何高效求解在基于置信椭球的带带算法中出现的0-1二次最大化问题？
• RQ3 所提出的近似算法能否被集成到带带算法中，以确保top-k选择在效率与正确性方面的双重保障？
• RQ4 所提方法在实际中是否能在保持多项式时间计算的同时实现低样本复杂度？
• RQ5 理论样本复杂度上界与在合成数据集和真实世界数据集上的实际性能表现相比如何？

主要发现

• 所提算法在全盲带反馈下的组合纯探索中，实现了样本复杂度的理论保证上界。
• 0-1二次最大化问题的近似算法使得在精确解不可行的场景下，仍能实现多项式时间计算。
• 由此产生的top-k选择带带算法运行时间多项式，且保持理论保证。
• 实验结果表明，理论样本复杂度上界与合成数据集和真实世界数据集上的实际性能表现一致。
• 与朴素的线性带带方法相比，该方法显著降低了计算时间，尤其在高维组合空间中优势明显。
• 该算法在实践中展现出良好的可扩展性与效率，验证了样本复杂度与运行时间的理论分析。