[论文解读] Top-k Combinatorial Bandits with Full-Bandit Feedback

Idan Rejwan, Yishay Mansour|arXiv (Cornell University)|May 28, 2019

Advanced Bandit Algorithms Research参考文献 34被引用 10

一句话总结

该论文提出了一种用于全反馈设置下top-k组合多臂赌博机的组合连续接受与拒绝（CSAR）算法，其中仅能观测到所选臂的奖励总和。该算法基于Hadamard矩阵设计了一种新颖的采样方案，以高效估计各个臂的奖励，实现了$O(n/\Delta^2 \log(n/\delta))$的最优样本复杂度和紧密的遗憾边界，并通过实验验证表明其性能显著优于基线方法。

ABSTRACT

Top-k Combinatorial Bandits generalize multi-armed bandits, where at each round any subset of $k$ out of $n$ arms may be chosen and the sum of the rewards is gained. We address the full-bandit feedback, in which the agent observes only the sum of rewards, in contrast to the semi-bandit feedback, in which the agent observes also the individual arms' rewards. We present the Combinatorial Successive Accepts and Rejects (CSAR) algorithm, which generalizes SAR (Bubeck et al, 2013) for top-k combinatorial bandits. Our main contribution is an efficient sampling scheme that uses Hadamard matrices in order to estimate accurately the individual arms' expected rewards. We discuss two variants of the algorithm, the first minimizes the sample complexity and the second minimizes the regret. We also prove a lower bound on sample complexity, which is tight for $k=O(1)$. Finally, we run experiments and show that our algorithm outperforms other methods.

研究动机与目标

• 解决在仅能观测到所选臂奖励总和（全反馈）的情况下，从n个臂中识别出最优k个臂的挑战。
• 设计一种在有限反馈下平衡探索与利用的高效算法，最小化样本复杂度和遗憾。
• 将连续接受与拒绝（SAR）算法推广至全反馈设置下的组合多臂赌博机问题。
• 证明样本复杂度和遗憾的理论边界，建立该问题设置下的首个下界。

提出的方法

• 提出CSAR算法，作为SAR算法在全反馈设置下top-k组合多臂赌博机问题的推广。
• 引入一种基于Hadamard矩阵的新型采样方案，仅用最少的样本即可从聚合反馈中估计各个臂的奖励。
• 采用逐步优化过程，以不断提高精度来估计臂的值，并根据置信区间决定接受或拒绝臂。
• 基于Hadamard矩阵的线性代数构造，生成采样模式，从而实现对各个臂奖励的无偏估计。
• 推导出样本复杂度和遗憾的理论边界，表明在$k=O(1)$时边界是紧致的。
• 基于问题实例之间的KL散度，建立下界证明，表明样本复杂度的下限为$\Omega(n/\epsilon^2)$。

实验结果

研究问题

• RQ1 能否为全反馈设置下的top-k组合多臂赌博机设计一种高效算法，其中仅能观测到奖励总和？
• RQ2 仅通过大小为k的子集的聚合反馈，是否能够准确估计各个臂的奖励？
• RQ3 在全反馈设置下，识别最优k臂子集的根本样本复杂度下界是什么？
• RQ4 与现有方法相比，所提出的算法在样本复杂度和遗憾方面表现如何？
• RQ5 基于Hadamard的采样方案是否能在此设置下实现最优估计效率？

主要发现

• CSAR算法实现了$O(n/\Delta^2 \log(n/\delta))$的样本复杂度，当$k=O(1)$时为紧致边界，且与下界仅相差对数因子。
• CSAR的遗憾为$O(nk/\Delta \log T)$，在对数因子范围内为最优，显著优于先前方法。
• 首次为全反馈设置下的top-k组合多臂赌博机建立了$\Omega(n/\epsilon^2)$的样本复杂度下界，表明样本复杂度无法超越此阶。
• 实验结果表明，基于Hadamard的采样方案在估计精度和样本效率方面显著优于随机采样和LOO采样。
• 在遗憾最小化方面，CSAR在长时间跨度内显著低于Agarwal和Aggarwal（2018）提出的Sort & Merge算法的累积遗憾。
• 该算法可在多项式时间内计算，尽管仅观测到聚合奖励，仍能高效估计各个臂的奖励，因此在实际应用中具有可行性。