[论文解读] Stochastic bandits robust to adversarial corruptions

Thodoris Lykouris, Vahab Mirrokni+1 more|arXiv (Cornell University)|Mar 25, 2018

Advanced Bandit Algorithms Research参考文献 8被引用 5

一句话总结

本文提出了一种鲁棒的随机多臂赌博机算法，在纯随机环境中保持最优后悔界，同时在存在对抗性污染时平滑退化为与污染水平 $C$ 的线性依赖关系。所提出的多层主动臂消除赛跑算法在无需知晓 $C$ 的情况下实现这一目标，确保性能从最优到对抗性水平的平滑退化。

ABSTRACT

We introduce a new model of stochastic bandits with adversarial corruptions which aims to capture settings where most of the input follows a stochastic pattern but some fraction of it can be adversarially changed to trick the algorithm, e.g., click fraud, fake reviews and email spam. The goal of this model is to encourage the design of bandit algorithms that (i) work well in mixed adversarial and stochastic models, and (ii) whose performance deteriorates gracefully as we move from fully stochastic to fully adversarial models. In our model, the rewards for all arms are initially drawn from a distribution and are then altered by an adaptive adversary. We provide a simple algorithm whose performance gracefully degrades with the total corruption the adversary injected in the data, measured by the sum across rounds of the biggest alteration the adversary made in the data in that round; this total corruption is denoted by $C$. Our algorithm provides a guarantee that retains the optimal guarantee (up to a logarithmic term) if the input is stochastic and whose performance degrades linearly to the amount of corruption $C$, while crucially being agnostic to it. We also provide a lower bound showing that this linear degradation is necessary if the algorithm achieves optimal performance in the stochastic setting (the lower bound works even for a known amount of corruption, a special case in which our algorithm achieves optimal performance without the extra logarithm).

研究动机与目标

• 设计在大多数奖励遵循随机模式但部分受到对抗性污染的混合随机-对抗环境中的多臂赌博机算法。
• 确保随着污染程度增加，算法性能从随机环境下的最优状态平滑退化为与污染水平 $C$ 的线性关系。
• 开发一种对污染量 $C$ 不敏感的算法，其保证无需事先知晓 $C$。
• 提供紧致的理论保证，表明在保持最优随机性能的前提下，与 $C$ 的线性依赖关系是必要的，仅相差对数因子。

提出的方法

• 引入一种新模型：奖励初始为随机，但可被自适应对手修改，总污染量受 $C = \sum_t \max_a |r^t(a) - r^t_\mathcal{S}(a)|$ 限制。
• 提出多层主动臂消除赛跑算法，通过分层消除处理污染数据，同时保持鲁棒性。
• 应用子采样和层级投影技术，控制在对抗性污染下次优臂被选择的次数。
• 使用霍夫丁型集中不等式控制方差，确保在污染反馈下仍具有高概率的后悔保证。
• 在修改后的层级水平上集成 SAPO 算法，实现在不同污染水平下的双准则伪后悔界。
• 通过上界估计次优臂的被选择次数，并分析在小间隙 $\Delta(a)$ 和大间隙 $\Delta(a)$ 情况下的后悔贡献，建立理论保证。

实验结果

研究问题

• RQ1 能否设计一种多臂赌博机算法，在纯随机环境中保持最优后悔，同时对对抗性污染具有鲁棒性？
• RQ2 从随机环境过渡到污染环境时，性能的最小退化程度是多少？是否可在线性依赖于 $C$ 的范围内进行界定？
• RQ3 能否设计一种对污染水平 $C$ 不敏感的算法，同时在随机情况下仍能实现近似最优性能？
• RQ4 对于小间隙 $\Delta(a)$ 的臂，是否可以改进后悔界中对 $\Delta(a)$ 的逆依赖关系，特别是当 $\Delta(a) \leq 1/\sqrt{T}$ 时？
• RQ5 即使已知污染水平 $C$，与 $C$ 的线性依赖关系是否对这种鲁棒性而言是必要的？

主要发现

• 所提算法以概率 $1 - \delta$ 实现 $\mathcal{O}\left(\sum_{a \neq a^*} \frac{K C \log(\frac{KT}{\delta}) + \log T}{\Delta(a)} \log(\frac{KT}{\delta}) \right)$ 的后悔，其随 $C$ 线性退化，同时在随机情况下保持对 $T$ 的对数依赖关系。
• 后悔界退化平滑：当 $C = 0$ 时，算法在对数因子内恢复最优的 $\mathcal{O}(\log T)$ 忽略。
• 对于小间隙 $\Delta(a) \leq 1/\sqrt{T}$ 的臂，后悔界可改进为 $\min(\sqrt{T}, 1/\Delta(a))$，反映出即使完全利用此类臂，损失也有限。
• 建立了下界，表明任何在随机设置下实现最优性能的算法，其与 $C$ 的线性依赖关系是必要的，即使 $C$ 已知。
• 通过与 SAPO 算法结合，该方法实现了双准则保证：若 $C \leq T^a$，则伪后悔为 $\mathcal{O}(\log T)$；否则为 $\mathcal{O}(T^{1/2 + a})$，其中任意 $a < 1/2$，当 $a=0$ 时恢复“最佳两者兼得”状态。