[论文解读] Regret Bounds for Batched Bandits

Hossein Esfandiari, Amin Karbasi+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出了针对随机多臂_bandit 和线性_bandit 的高效批处理算法，仅使用对数数量的批处理即可实现最优后悔界。针对批处理对抗性_bandit，建立了紧致的后悔下界，表明非自适应算法的后悔下界为 Ω(T/√B)，而自适应算法的下界为 Ω(T/B)，揭示了随机与对抗性设置之间的根本性差异。

ABSTRACT

We present simple and efficient algorithms for the batched stochastic multi-armed bandit and batched stochastic linear bandit problems. We prove bounds for their expected regrets that improve over the best-known regret bounds for any number of batches. In particular, our algorithms in both settings achieve the optimal expected regrets by using only a logarithmic number of batches. We also study the batched adversarial multi-armed bandit problem for the first time and find the optimal regret, up to logarithmic factors, of any algorithm with predetermined batch sizes.

研究动机与目标

• 设计高效的批处理_bandit 算法，以在随机和线性_bandit 设置中最小化后悔。
• 建立批处理对抗性多臂_bandit 的紧致后悔下界，该问题此前尚未被研究。
• 刻画在_bandit 学习中并行化（批处理大小）与信息共享（批次数）之间的权衡。
• 确定在每种_bandit 模型中实现最小最大后悔所需的最优批次数。
• 比较在批处理执行下，随机与对抗性_bandit 设置之间的性能差距。

提出的方法

• 提出简单高效的批处理随机多臂_bandit 和线性_bandit 算法，采用每批内顺序探索策略。
• 采用类似 UCB 的批处理方法，其中每批使用置信区间选择潜在回报较高的臂。
• 利用 Hoeffding 不等式和矩不等式分析期望后悔，特别关注奖励和的四阶矩。
• 通过最坏情况奖励序列推导期望后悔的下界，其中在一批内仅发生一次随机的臂奖励切换。
• 使用柯西-施瓦茨不等式和詹森型不等式，对跨批处理的独立随机变量之和的期望绝对值进行有界。
• 通过证明切换时间的分布与算法行为无关，将下界分析扩展至自适应算法，保持 Ω(T/B) 的下界。

实验结果

研究问题

• RQ1 在随机设置中，批处理_bandit 算法是否能仅用对数数量的批处理就实现最优后悔？
• RQ2 在批处理对抗性多臂_bandit 问题中，非自适应算法可实现的最小最大后悔是多少？
• RQ3 在对抗性设置中，后悔如何随批次数 B 变化？其性能的根本极限是什么？
• RQ4 当强制执行批处理时，随机与对抗性_bandit 之间是否存在显著的性能差距？
• RQ5 能否将两臂批处理随机_bandit 的后悔界扩展到 K > 2 个臂？

主要发现

• 所提出的批处理算法在随机多臂_bandit 和线性_bandit 中，仅使用 O(log T) 个批处理即可实现最优期望后悔。
• 对于批处理对抗性_bandit，最小最大后悔被表征为 Õ(√(T(K + T/B)))，与已知结果在对数因子内一致。
• 证明了在对抗性设置中，非自适应算法的后悔下界为 Ω(T/√B)，表明对于任意固定批次数，后悔无法显著优于该值。
• 在对抗性设置中，为自适应算法建立了 Ω(T/B) 的后悔下界，表明即使有反馈，性能仍受批处理大小的限制。
• 随机设置下，仅需对数数量的批处理即可实现最优后悔；而对抗性设置下，需多项式更多的批处理才能达到类似性能。
• 分析揭示了根本不对称性：由于结构特性，随机_bandit 极大受益于批处理；而对抗性_bandit 因延迟反馈而面临固有局限。