[论文解读] Nonstochastic Multiarmed Bandits with Unrestricted Delays

Tobias Sommer Thune, Nicolò Cesa‐Bianchi+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Bandit Algorithms Research参考文献 22被引用 3

一句话总结

该论文提出了一种带有新颖跳过封装器的延迟-Exp3算法，以处理非随机多臂赌博机中的无界延迟，实现了猜想的遗憾界 $ olimits\mathcal{O}(\sqrt{(KT+D)\ln K})$，且无需假设延迟有界。此外，该文引入了一种加倍方案，消除了在延迟于动作时刻已知时对 $T$ 和 $D$ 的先验知识需求，从而在某些情况下实现了对问题参数具有多项式更好依赖关系的改进型oracle遗憾界。

ABSTRACT

We investigate multiarmed bandits with delayed feedback, where the delays need neither be identical nor bounded. We first prove that "delayed" Exp3 achieves the $O(\sqrt{(KT + D)\ln K} )$ regret bound conjectured by Cesa-Bianchi et al. [2019] in the case of variable, but bounded delays. Here, $K$ is the number of actions and $D$ is the total delay over $T$ rounds. We then introduce a new algorithm that lifts the requirement of bounded delays by using a wrapper that skips rounds with excessively large delays. The new algorithm maintains the same regret bound, but similar to its predecessor requires prior knowledge of $D$ and $T$. For this algorithm we then construct a novel doubling scheme that forgoes the prior knowledge requirement under the assumption that the delays are available at action time (rather than at loss observation time). This assumption is satisfied in a broad range of applications, including interaction with servers and service providers. The resulting oracle regret bound is of order $\min_β(|S_β|+β\ln K + (KT + D_β)/β)$, where $|S_β|$ is the number of observations with delay exceeding $β$, and $D_β$ is the total delay of observations with delay below $β$. The bound relaxes to $O (\sqrt{(KT + D)\ln K} )$, but we also provide examples where $D_β\ll D$ and the oracle bound has a polynomially better dependence on the problem parameters.

研究动机与目标

• 填补在可变、无界延迟下，非随机多臂赌博机中猜想遗憾界与已证明遗憾界之间的差距。
• 解决先前算法要求延迟有界或需预先知晓 $T$ 和 $D$ 的局限性。
• 设计一种实用算法，通过基于阈值的跳过机制，自适应处理未知延迟。
• 在假设延迟于动作时刻已知的前提下，设计一种加倍方案，消除对 $T$ 和 $D$ 先验知识的需求。
• 推导出一种改进型oracle遗憾界，当 $D_\beta \ll D$ 时，其对问题参数的依赖关系优于标准遗憾界。

提出的方法

• 提出一种改进的“延迟-Exp3”算法，即使在可变延迟下，也尽早利用可用的损失信息进行更新。
• 提出一种名为“Skipper”的封装器算法，跳过延迟超过阈值 $\beta$ 的回合，从而限制基础算法所感知的有效延迟。
• 对带延迟反馈的指数加权方法进行精细化分析，引入概率漂移引理以控制延迟更新的影响。
• 采用一种加倍方案，无需事先知晓 $T$ 和 $D$，自适应调节阈值 $\beta$，前提是延迟在动作时刻已知。
• 推导出一种新颖的oracle遗憾界：$\min_\beta \left(|S_\beta| + \beta\ln K + \frac{KT + D_\beta}{\beta}\right)$，其中 $|S_\beta|$ 表示延迟大于 $\beta$ 的观测数，$D_\beta$ 表示延迟小于等于 $\beta$ 的总延迟。
• 将分析应用于表明：在标准假设下，该遗憾界退化为 $ olimits\mathcal{O}(\sqrt{(KT+D)\ln K})$，但当 $D_\beta \ll D$ 时，其可显著更紧。

实验结果

研究问题

• RQ1 在非随机赌博机设置下，对于无界延迟，是否可以实现猜想的遗憾界 $ olimits\mathcal{O}(\sqrt{(KT+D)\ln K})$？
• RQ2 在延迟反馈下，是否可能在不损失遗憾界的前提下，消除对 $T$ 和 $D$ 先验知识的需求？
• RQ3 是否可以推导出一种依赖于延迟分布的改进遗憾界，特别是当大多数延迟都很小时？
• RQ4 假设延迟在动作时刻已知，是否能提供优于延迟仅在观测时刻才知的遗憾保证？
• RQ5 能否设计一种加倍方案，自适应调节延迟阈值，而无需事先知晓 $T$ 和 $D$？

主要发现

• 当延迟有界且已知 $T$、$D$ 和 $d_{\text{max}}$ 时，延迟-Exp3算法实现了猜想的 $ olimits\mathcal{O}(\sqrt{(KT+D)\ln K})$ 遗憾界。
• Skipper封装器算法通过跳过延迟超过阈值 $\beta$ 的观测，使延迟-Exp3在无界延迟下仍可使用，同时保持相同的遗憾界。
• 当延迟在动作时刻已知时，加倍方案消除了对 $T$ 和 $D$ 先验知识的需求，实现了改进型oracle遗憾界。
• 改进型oracle遗憾界 $\min_\beta \left(|S_\beta| + \beta\ln K + \frac{KT + D_\beta}{\beta}\right)$ 在 $D_\beta \ll D$ 时，可比 $ olimits\mathcal{O}(\sqrt{(KT+D)\ln K})$ 显著更优。
• 分析表明，该遗憾界在最坏情况下是紧的，但在有利的延迟分布下可显著改善。
• 本文提供了一个具体例子，其中 $D_\beta \ll D$，展示了改进型遗憾界在实际中可能带来显著的性能提升。