[论文解读] Stochastic bandits with arm-dependent delays

Anne Gael Manegueu, Claire Vernade+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research被引用 12

一句话总结

本文提出 PatientBandits，一种基于 UCB 的算法，用于处理具有臂相关、无界且可能重尾延迟的随机多臂赌博机问题，其中反馈部分可观测。该算法在重尾延迟和异质延迟分布下，仍能实现与标准赌博机问题依赖于问题的遗憾界常数倍范围内的性能，同时证明了最小最大遗憾下界，表明在无全局尾部控制的情况下性能损失不可避免。

ABSTRACT

Significant work has been recently dedicated to the stochastic delayed bandit setting because of its relevance in applications. The applicability of existing algorithms is however restricted by the fact that strong assumptions are often made on the delay distributions, such as full observability, restrictive shape constraints, or uniformity over arms. In this work, we weaken them significantly and only assume that there is a bound on the tail of the delay. In particular, we cover the important case where the delay distributions vary across arms, and the case where the delays are heavy-tailed. Addressing these difficulties, we propose a simple but efficient UCB-based algorithm called the PatientBandits. We provide both problems-dependent and problems-independent bounds on the regret as well as performance lower bounds.

研究动机与目标

• 解决在具有臂相关、无界且可能重尾延迟的随机多臂赌博机中学习的挑战，其中反馈部分可观测。
• 克服由于跨臂延迟被右删失导致的反馈缺失所引发的可识别性问题。
• 设计一种算法，即使在延迟异质性和重尾性下，其问题依赖遗憾性能也几乎与标准 UCB 相当。
• 刻画在该类延迟模型下的学习根本极限，包括最小最大遗憾下界。
• 研究算法对延迟尾部参数先验知识不准确的鲁棒性。

提出的方法

• 提出 PatientBandits，一种 UCB 风格的算法，通过引入延迟尾部参数 $\overline{\alpha}$ 来根据延迟尾部的厚重程度校准探索。
• 使用经过修改的上置信界，以考虑由延迟且可能重尾的反馈所引入的不确定性。
• 采用一种阈值机制，根据估计的延迟分布将观测值视为延迟观测，避免对完整延迟可观测性的依赖。
• 在假设每条臂的延迟分布尾部由指数为 $\alpha_i$ 的幂律所界定的前提下，进行问题依赖的遗憾分析。
• 推导问题无关（最小最大）遗憾界，并证明下界，表明在无全局尾部控制时性能损失不可避免。
• 通过研究延迟尾部参数 $\overline{\alpha}$ 的误设影响，分析算法的鲁棒性。

实验结果

研究问题

• RQ1 当延迟为臂相关且可能重尾时，能否设计出一种多臂赌博机算法，使其问题依赖遗憾接近标准多臂赌博机的性能？
• RQ2 延迟异质性和部分可观测性如何影响随机多臂赌博机中的根本学习极限？
• RQ3 是否可能设计一种基于 UCB 的算法，能够适应不同的延迟分布，而无需完整延迟可观测性？
• RQ4 由于延迟异质性和重尾分布，最小最大遗憾的最小代价是多少？
• RQ5 算法性能对延迟尾部参数 $\overline{\alpha}$ 的选择有多敏感？

主要发现

• PatientBandits 实现了问题依赖遗憾界，即使在臂相关且重尾延迟下，其遗憾也保持在标准 UCB 遗憾的常数倍范围内。
• 在渐近情形下，该算法保持了近似最优性能，延迟导致的遗憾增加被限制在常数因子内。
• 对于最小最大遗憾，下界表明在给定假设下，与标准多臂赌博机相比的性能损失不可避免。
• 在延迟分布异质性显著的场景中——尤其是最优臂具有更重尾延迟时——D-UCB 因偏差而失效，而 PatientBandits 成功识别出最优臂并实现了次线性遗憾。
• PatientBandits 对延迟尾部参数 $\overline{\alpha}$ 的误设保持鲁棒，展现出无需精确掌握延迟分布的实用自适应能力。
• D-UCB 在大阈值 $m$ 下存在长线性遗憾阶段，凸显其在早期学习阶段的低效性，而 PatientBandits 无需等待固定步数即可开始利用。