[论文解读] Regret Bounds for Stochastic Combinatorial Multi-Armed Bandits with Linear Space Complexity

Mridul Agarwal, Vaneet Aggarwal|arXiv (Cornell University)|Nov 29, 2018

Advanced Bandit Algorithms Research参考文献 18被引用 9

一句话总结

该论文提出 CMAB-SM，一种计算高效、空间复杂度为线性的算法，用于具有非线性奖励函数的随机组合多臂赌博机问题。它采用分治策略，实现了 $\tilde{O}(K^{1/2}N^{1/3}T^{2/3})$ 的遗憾边界，该边界在 $T$、$N$ 和 $K$ 上均为次线性，显著优于标准方法在 $\binom{N}{K}$ 种选择下的表现。

ABSTRACT

Many real-world problems face the dilemma of choosing best $K$ out of $N$ options at a given time instant. This setup can be modelled as combinatorial bandit which chooses $K$ out of $N$ arms at each time, with an aim to achieve an efficient tradeoff between exploration and exploitation. This is the first work for combinatorial bandit where the reward received can be a non-linear function of the chosen $K$ arms. The direct use of multi-armed bandit requires choosing among $N$-choose-$K$ options making the state space large. In this paper, we present a novel algorithm which is computationally efficient and the storage is linear in $N$. The proposed algorithm is a divide-and-conquer based strategy, that we call CMAB-SM. Further, the proposed algorithm achieves a regret bound of $ ilde O(K^\frac{1}{2}N^\frac{1}{3}T^\frac{2}{3})$ for a time horizon $T$, which is sub-linear in all parameters $T$, $N$, and $K$. The evaluation results on different reward functions and arm distribution functions show significantly improved performance as compared to standard multi-armed bandit approach with $\binom{N}{K}$ choices.

研究动机与目标

• 为解决在从 $N$ 个动作中选择 $K$ 个动作时，标准多臂赌博机方法因导致 $\binom{N}{K}$ 种组合而产生的计算不可行性。
• 设计一种在组合赌博机设置中处理非线性奖励函数的同时保持低存储复杂度的算法。
• 在具有非线性奖励的随机组合赌博机问题中，实现 $T$、$N$ 和 $K$ 上的次线性遗憾边界。
• 在 $N$ 和 $K$ 增大时，相较于扩展性差的标准赌博机方法，提升性能。

提出的方法

• 该算法采用分治策略，将 $K$ 个动作的选择问题分解为更小、可管理的子问题。
• 在 $N$ 上保持线性空间复杂度，从而实现对大规模 $N$ 的可扩展性。
• 该方法使用一种新颖的探索-利用权衡机制，专为组合动作集上的非线性奖励函数而设计。
• 通过在子问题中仔细平衡探索与高效估计期望奖励，实现其遗憾边界。
• 该算法通过递归划分动作集并聚焦于有希望的子集，避免枚举所有 $\binom{N}{K}$ 种组合。

实验结果

研究问题

• RQ1 能否设计一种组合赌博机算法，在保持线性空间复杂度的同时，实现 $T$、$N$ 和 $K$ 上的次线性遗憾边界？
• RQ2 在非线性奖励设置下，分治方法的性能与标准多臂赌博机方法（具有 $\binom{N}{K}$ 种选择）相比如何？
• RQ3 在具有非线性奖励的随机组合赌博机问题中，线性空间算法可达到的理论遗憾边界是什么？
• RQ4 所提出的方法能否在不进行穷举搜索的情况下，高效扩展到大规模 $N$ 和中等 $K$？

主要发现

• 所提出的 CMAB-SM 算法实现了 $\tilde{O}(K^{1/2}N^{1/3}T^{2/3})$ 的遗憾边界，该边界在 $T$、$N$ 和 $K$ 上均为次线性。
• 该算法在 $N$ 上保持线性空间复杂度，从而实现对大规模问题的可扩展性。
• 实验评估表明，其性能显著优于考虑所有 $\binom{N}{K}$ 种组合的标准多臂赌博机方法。
• 分治策略有效降低了计算负担，同时保持了遗憾边界保证。