[论文解读] The Pareto Regret Frontier for Bandits

Tor Lattimore|arXiv (Cornell University)|Oct 30, 2015

Advanced Bandit Algorithms Research参考文献 16被引用 11

一句话总结

本文刻画了随机多臂赌博机中的Pareto后悔前沿，表明若使某一臂的最坏情况后悔值较低，将迫使其他臂的后悔值显著增加。具体而言，若某算法在某一臂上实现后悔值 $ B $，则至少存在另一臂的最坏情况后悔值必须至少为 $ \Omega(nK/B) $，揭示了一项远比专家设置中更严重的根本性权衡。

ABSTRACT

Given a multi-armed bandit problem it may be desirable to achieve a smaller-than-usual worst-case regret for some special actions. I show that the price for such unbalanced worst-case regret guarantees is rather high. Specifically, if an algorithm enjoys a worst-case regret of B with respect to some action, then there must exist another action for which the worst-case regret is at least Ω(nK/B), where n is the horizon and K the number of actions. I also give upper bounds in both the stochastic and adversarial settings showing that this result cannot be improved. For the stochastic case the pareto regret frontier is characterised exactly up to constant factors.

研究动机与目标

• 理解在多臂赌博机问题中，当某些臂被特别对待时，最坏情况后悔值之间的权衡关系。
• 确定在不使其他臂的后悔值过度增加的前提下，特定臂的后悔值可被减少的极限。
• 在随机赌博机假设下，建立所有臂上可实现后悔向量的紧致边界。
• 将这些极限与专家设置中观察到的更有利的后悔权衡进行对比。

提出的方法

• 本文基于条件 $ B_i \geq \min\left\{n, \sum_{j \neq i} \frac{n}{B_j}\right\} $ 对所有 $ i $ 定义了可实现最坏情况后悔向量集合 $ \mathcal{B} \subset \mathbb{R}^K $。
• 证明了一个下界，表明对于任意赌博机策略 $ \pi $，其后悔向量 $ R^\pi $ 必须满足 $ c_1(R^\pi + K) \in \mathcal{B} $，其中 $ c_1 = 8 $ 和 $ c_2 = 252 $ 为通用常数，且在高斯噪声下成立。
• 通过构造一种非对称UCB算法，提供了一个上界，证明该算法对所有 $ i $ 满足 $ R^\pi_i \leq c_2 B_i $，与下界仅相差常数因子。
• 该上界被推广至次高斯噪声，并通过在对抗性设置中修改的Exp-γ算法得到验证。
• 理论分析包括非问题依赖和问题依赖的后悔边界，针对非对称UCB算法，表明其渐近性能接近标准UCB。
• 实验比较了非对称MOSS与标准MOSS，证实了理论预测的各臂间后悔权衡。

实验结果

研究问题

• RQ1 在多臂赌博机设置中，若特别优待某一臂，其最坏情况后悔值的根本权衡是什么？
• RQ2 能否设计一种算法，使单个臂的最坏情况后悔值保持常数，同时使其他臂的后悔值保持有界？
• RQ3 当某一臂被目标为低后悔值时，非优待臂的最坏情况后悔值如何随其变化？
• RQ4 赌博机设置中的后悔前沿是否像专家设置中那样灵活，后者可通过先验知识以极小代价实现单个专家的低后悔？
• RQ5 在常数因子范围内，所有臂上可实现的后悔向量的最紧边界是什么？

主要发现

• 任何臂 $ i $ 的最坏情况后悔值无法低于 $ B $，否则将迫使至少另一臂 $ j $ 的后悔值至少达到 $ \Omega(nK/B) $，确立了强烈的权衡关系。
• 在随机设置下，Pareto后悔前沿被精确刻画至常数因子，集合 $ \mathcal{B} $ 捕获了所有可实现的后悔向量。
• 对于任意 $ B \in \mathcal{B} $，存在一种策略 $ \pi $，使得对所有 $ i $ 满足 $ R^\pi_i \leq c_2 B_i $，其中 $ c_2 = 252 $，证明上界在常数因子范围内是紧致的。
• 非对称UCB算法实现了非问题依赖的后悔 $ O(B_{i^*} \sqrt{\log n}) $ 和问题依赖的后悔 $ O\left(B_{i^*} \sqrt{\log n} \cdot \mathbf{1}_{\{A \neq \emptyset\}} + \sum_{i \in A} \frac{1}{\Delta_i} \log n\right) $，渐近上与标准UCB一致。
• 实验结果表明，当最优臂为被优待的臂时，非对称算法优于标准MOSS；但当最优臂未被优待时，其性能显著下降。
• 下界依赖于高斯噪声，对所有次高斯模型（如无噪声）不成立；但上界适用于一般次高斯噪声。