[论文解读] Refined Lower Bounds for Adversarial Bandits

Sébastien Gerchinovitz, Tor Lattimore|arXiv (Cornell University)|May 24, 2016

Advanced Bandit Algorithms Research参考文献 16被引用 55

一句话总结

本文為对抗性 bandit 算法建立了精细的下界，表明近期依赖于高概率后悔、最优臂总损失（一阶界限）以及损失二次变差（二阶界限）的上界几乎紧致。此外，本文证明了两个不可能性结果：存在一个统一最优的臂或损失范围较小，并不能降低最坏情况下的后悔，揭示了 bandit 设置下自适应性的根本限制。

ABSTRACT

We provide new lower bounds on the regret that must be suffered by adversarial bandit algorithms. The new results show that recent upper bounds that either (a) hold with high-probability or (b) depend on the total lossof the best arm or (c) depend on the quadratic variation of the losses, are close to tight. Besides this we prove two impossibility results. First, the existence of a single arm that is optimal in every round cannot improve the regret in the worst case. Second, the regret cannot scale with the effective range of the losses. In contrast, both results are possible in the full-information setting.

研究动机与目标

• 通过依赖于精细化性能度量的紧致下界，填补对对抗性 bandit 算法理解上的空白。
• 探究当损失较小时（一阶界限）或损失方差较低时（二阶界限），是否可能获得改进的后悔界限。
• 考察结构性假设（例如每轮中存在单一最优臂，或损失范围有界）是否能降低最坏情况下的后悔。
• 在这些假设下，建立 bandit 算法自适应性的根本限制，与完整信息设置形成对比。

提出的方法

• 通过精心构造的损失序列族，推导出一个通用的 minimax 下界，以模拟最坏情况场景。
• 应用定理 1 构造损失向量的概率分布，迫使后悔达到较高水平，利用对手能够根据学习者策略自适应调整的能力。
• 使用集中不等式和概率论论证，对特定损失结构（如有界范围或恒定最优臂）下的期望后悔进行上界估计。
• 通过将后悔与损失的二次变差及有效范围相关联，分析后悔、方差与损失规律性之间的相互作用。
• 采用约化技术表明，即使在有利的结构性假设下（例如损失范围有界或始终存在最优臂），期望后悔也无法优于 √(TK) 的量级。
• 通过证明任何改进都将违反所推导出的下界（对数因子内），验证了现有上界在紧致性上的成立。

实验结果

研究问题

• RQ1 当最优臂的总损失较小时，对抗性 bandit 算法是否能实现显著优于 O(√(TK)) 的后悔界限？
• RQ2 能否设计一种 bandit 算法，使其后悔与损失的二次变差成比例，此类界限的紧致性如何？
• RQ3 若每轮中均存在一个单一最优臂，是否能降低最坏情况下的后悔？
• RQ4 能否使后悔与损失的有效范围 ρ 成比例，而非与时间跨度 T 成比例？
• RQ5 高概率后悔界限是否能显著改进，特别是当置信参数 δ 未知时？

主要发现

• 本文证明了第一阶后悔的 minimax 下界为 √(αTK) 阶，表明依赖于最优臂总损失的现有界限在对数因子内几乎最优。
• 对于依赖于二次变差的二阶界限，本文确立了当方差有界时，最优后悔为 Ω(√(TK))，表明已知界限的紧致性。
• 无法实现与损失有效范围 ρ 成比例的后悔；即使在 ρ ≥ 0.22√((K−1)/T) 的有界范围内，后悔仍为 Ω(√(T(K−1)))，表明无法优于最坏情况界限。
• 即使每轮中均存在一个统一最优臂，最坏情况下的后悔也不会降低，因为下界在该假设下仍为 Ω(√(T(K−1)))。
• 高概率后悔界限无法显著改进：Exp3.P 和 Exp3-IX 的 δ 相关与 δ 无关调参方式均被证明近乎最优，后者仅在平方根外存在对数惩罚。
• 这些不可能性结果与完整信息设置形成鲜明对比：在完整信息设置中，此类结构性假设确实能带来后悔的改善，凸显了 bandit 与完整信息反馈之间根本性的差异。