[论文解读] Regret of Queueing Bandits

Subhashini Krishnasamy, Rajat Sen+2 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Bandit Algorithms Research参考文献 35被引用 15

一句话总结

本文提出了一种队列多臂赌博机框架，其中服务速率初始未知，并提出一种算法以最小化队列遗憾——即与拥有完整服务速率知识的全知预言机相比，队列长度的期望差异。研究揭示了两阶段遗憾行为：初期为对数增长（如经典赌博机），随后渐近衰减为 O(1/t) 阶，且所提算法在两个阶段均达到阶最优性能。

ABSTRACT

We consider a variant of the multiarmed bandit problem where jobs queue for service, and service rates of different servers may be unknown. We study algorithms that minimize queueregret: the (expected) difference between the queue-lengths obtained by the algorithm, and those obtained by a “genie”-aided matching algorithm that knows exact service rates. A naive view of this problem would suggest that queue-regret should grow logarithmically: since queue-regret cannot be larger than classical regret, results for the standard MAB problem give algorithms that ensure queue-regret increases no more than logarithmically in time. Our paper shows surprisingly more complex behavior. In particular, the naive intuition is correct as long as the bandit algorithm’s queues have relatively long regenerative cycles: in this case queue-regret is similar to cumulative regret, and scales (essentially) logarithmically. However, we show that this “early stage” of the queueing bandit eventually gives way to a “late stage”, where the optimal queue-regret scaling is O(1/t). We demonstrate an algorithm that (order-wise) achieves this asymptotic queue-regret, and also exhibits close to optimal switching time from the early stage to the late stage.

研究动机与目标

• 建模并分析服务速率初始未知时，作业排队等待服务的多臂赌博机问题中的遗憾。
• 理解队列遗憾随时间的缩放行为，特别是与标准多臂赌博机设置中经典遗憾的对比。
• 设计一种通过适应队列动态的早期与晚期阶段转换来最小化队列遗憾的算法。
• 刻画最优队列遗憾的根本缩放规律，表明其从对数行为过渡到 O(1/t) 行为。

提出的方法

• 将队列遗憾形式化为算法与拥有完整服务速率知识的全知预言机之间累积队列长度差异的期望。
• 分析在赌博机反馈下队列系统的动态行为，区分再生周期较长的早期阶段与趋近稳态行为的晚期阶段。
• 推导依赖于探索、队列积压与系统再生之间相互作用的队列遗憾理论界。
• 设计一种自适应算法，从以探索为主的早期阶段平稳过渡到以利用为主的晚期阶段，从而最小化整体队列遗憾。
• 利用随机耦合与更新理论分析两个遗憾范式之间的过渡。
• 通过匹配推导出的队列遗憾缩放下界，证明所提算法在阶意义上的最优性。

实验结果

研究问题

• RQ1 在服务速率未知且具有队列动态的多臂赌博机中，队列遗憾如何随时间缩放？
• RQ2 经典多臂赌博机中的标准对数遗憾缩放在队列赌博机设置中是否依然成立？
• RQ3 队列动态的何种结构性变化导致了从对数到 O(1/t) 遗憾缩放的转变？
• RQ4 能否设计一种算法，通过适应早期与晚期阶段之间的过渡，实现阶最优遗憾？
• RQ5 在此队列赌博机框架中，队列遗憾的根本极限是什么？

主要发现

• 当再生周期较长时，队列遗憾最初呈对数缩放，与经典多臂赌博机遗憾相似。
• 在某一过渡点之后，队列遗憾衰减为 O(1/t)，表明其渐近行为与经典赌博机存在根本不同。
• 本文证明了在该设置下，O(1/t) 是队列遗憾的最优渐近缩放。
• 提出了一种算法，其在阶意义上实现了 O(1/t) 的缩放，与理论下界一致。
• 该算法自适应地调整行为，在接近最优的时间点由早期（对数）遗憾阶段平稳过渡到晚期（1/t）遗憾阶段。
• 从早期到晚期阶段的过渡由系统的队列动态及服务速率估计的收敛性所驱动。